群を成す歌声合成

人間・計算機と群を成す歌声合成技術の研究

Title / タイトル

人間・計算機と群を成す歌声合成技術の研究(2023-2030, 科研費挑戦的研究 (萌芽) 代表)

Projects / プロジェクト

The purpose of this study is to reproduce the interaction between human singers. When human singers sing together, each singer does not sing alone but controls his/her own singing voice so that it harmonizes with that of the other singer. In other words, there is an interaction between human singers and their singing, and this interaction brings about a unified singing voice and appreciation experience by a group of human singers. On the other hand, AI singers (computers with singing voice synthesizing functions) do not have such interaction functions. When a group of human and AI singers sing together, the human singer has no other choice but to unilaterally match the AI singer. In addition, there is no interaction between AI singers and human singers. Therefore, in this study, we research and develop a singing voice synthesis technology that has a singing interaction function.

本研究の目的は,人と人の歌唱相互作用の計算機的再現である.人間歌手同士が重唱する際,その各人は,好き勝手に歌唱するのではなく他人の歌声と調和するように自らの歌声を制御する.すなわち,人と人の歌唱の間には相互作用があり,その相互作用が,人と人から成る群による一体的な歌声と鑑賞体験をもたらす.他方,AI歌手(歌声合成機能を持つ計算機)は,その相互作用機能を有さない.人間歌手とAI歌手から成る群が歌唱する場合,人間歌手が一方的にAI歌手に合わせるほかない.また,AI歌手同士の群においては一切の相互作用が無い.故に本研究では,歌唱相互作用機能を持つ歌声合成技術を研究開発する.

Member / メンバ

Shinnosuke Takamichi / 高道慎之介（慶應義塾大学，代表）
Nakamura Tomohiko / 中村友彦（産総研）
Satoru Fukayama / 深山覚（産総研）
Daisuke Saito / 齋藤大輔（東京大学）

Acknowledgement / 謝辞

JSPS KAKENHI 23K18474 (English)
JSPS 科研費 23K18474 (日本語)

Website / ウェブサイト

https://kaken.nii.ac.jp/ja/grant/KAKENHI-PROJECT-23K18474/

References

2024

コーパス

最先端の予測性能を持つ合成音声品質の自動評価システム UTMOS について

佐伯高明 , and 高道慎之介

日本音響学会誌, 2024

(Invited article / 招待記事)

Bib PDF

@article{saeki24asj-kaisetsu_utmos,
  title = {最先端の予測性能を持つ合成音声品質の自動評価システム UTMOS について},
  author = {高明, 佐伯 and 慎之介, 高道},
  year = {2024},
  journal = {日本音響学会誌},
  note = {(Invited article / 招待記事)},
  memo = {本研究は科研費 21H04900，22H03639，23H03418，23K18474，JST創発的研究支援事業 JP23KJ0828，ムーンショット JPMJPS2011 の助成を受けた．本解説記事の執筆に際し，東京大学大学院の関健太郎氏の助言を受けた．}
}

音声評価

テキスト生成の自動評価尺度に基づく音声生成の自動評価

佐伯高明 , マイティソウミ , 高道慎之介 , 渡部晋治 , and 猿渡洋

In 電子情報通信学会音声研究会 , 2024

Bib PDF

@inproceedings{saeki24sp_speechevaluation,
  abbr_publisher = {電子情報通信学会 音声研究会},
  booktitle = {電子情報通信学会 音声研究会},
  title = {テキスト生成の自動評価尺度に基づく音声生成の自動評価},
  author = {高明, 佐伯 and ソウミ, マイティ and 慎之介, 高道 and 晋治, 渡部 and 洋, 猿渡},
  year = {2024},
  memo = {JSPS 科 研 費 23H03418，23K18474，22H03639，21H05054，22KJ0838 ムーンショット研究開発費 JPMJPS2011，および JST FOREST JPMJFR226V によって支援された．}
}

コーパス

音環境に適応するテキスト音声合成のための一人称視点コーパス構築

武伯寒 , 高道慎之介 , 関健太郎 , 坂東宜昭 , and 猿渡洋

In 情報処理学会音声言語処理研究会 , 2024

Bib PDF

@inproceedings{take24slp_1st-person-tts,
  abbr_publisher = {情報処理学会 音声言語処理研究会},
  booktitle = {情報処理学会 音声言語処理研究会},
  title = {音環境に適応するテキスト音声合成のための一人称視点コーパス構築},
  author = {伯寒, 武 and 慎之介, 高道 and 健太郎, 関 and 宜昭, 坂東 and 洋, 猿渡},
  year = {2024},
  memo = {本研究の一部は，科研費 22H03639，23K18474， JST 創発的研究支援事業 JP23KJ0828，及び JST ムーンショット型研究開発事業 JPMJMS2011 の助成を受け実施 しました．また, 原稿の作成に際して, 渡邊 亞椰さんには 図の作成でご協力頂きました. この場を借りて感謝申し上げます}
}

コーパス

インターネット時代の音声コーパスの作成

高道慎之介

日本音響学会誌, 2024

(Invited article / 招待記事)

Bib PDF

@article{takamichi24asj_invited-article-dark-data,
  title = {インターネット時代の音声コーパスの作成},
  author = {慎之介, 高道},
  year = {2024},
  journal = {日本音響学会誌},
  note = {(Invited article / 招待記事)},
  memo = {本研究は科研費 21H04900，22H03639，23H03418，23K18474，JST創発的研究支援事業 JP23KJ0828，ムーンショット JPMJPS2011 の助成を受けた．また，本稿の執筆にあたり東京大学 大学院情報理工学系研究科 修士課程 関 健太郎氏からの助言を受けた．}
}

歌声合成

歌唱者間相互作用を再現するDNN重唱歌声合成の検討

兵藤弘明 , 高道慎之介 , 中村友彦 , 小口純矢 , and 猿渡洋

In 情報処理学会音楽情報科学研究会 , 2024

Bib PDF

@inproceedings{hyodo24mus_chorus-synthesis,
  abbr_publisher = {情報処理学会 音楽情報科学研究会},
  booktitle = {情報処理学会 音楽情報科学研究会},
  title = {歌唱者間相互作用を再現する{DNN}重唱歌声合成の検討},
  author = {弘明, 兵藤 and 慎之介, 高道 and 友彦, 中村 and 純矢, 小口 and 洋, 猿渡},
  year = {2024},
  memo = {アノテーションの方法について，西山陽子様から 多くの助言を受けた．本研究は JST 創発的研究支援事業 JPMJFR226V，JSPS 科研費 23H03418，23K18474 の助成を受けた．}
}

楽音合成

複数のオーディオエフェクトが適用された楽音に対するエフェクトチェイン推定と原音復元

武伯寒 , 渡邉研斗 , 中塚貴之 , Tian Cheng , 中野倫靖 , 後藤真孝 , 高道慎之介 , and 猿渡洋

In 日本音響学会春季研究発表会 , 2024

Bib PDF

@inproceedings{take24asjs_audio-effect,
  abbr_publisher = {日本音響学会春季研究発表会},
  booktitle = {日本音響学会春季研究発表会},
  title = {複数のオーディオエフェクトが適用された楽音に対するエフェクトチェイン推定と原音復元},
  author = {伯寒, 武 and 研斗, 渡邉 and 貴之, 中塚 and Cheng, Tian and 倫靖, 中野 and 真孝, 後藤 and 慎之介, 高道 and 洋, 猿渡},
  year = {2024},
  memo = {本研究は科研費 21H04900, 22H03639，23H03418， JST 創発的研究支援事業 JP23KJ0828，ムーンショット JPMJPS2011 の助成を受けたものです}
}

DNN-based ensemble singing voice synthesis with interactions between singers

Hiroaki Hyodo , Shinnosuke Takamichi , Tomohiro Nakamura , Junya Koguchi , and Hiroshi Saruwatari

In Proceedings of IEEE Spoken Language Technology Workshop (SLT) , 2024

arXiv Bib

@inproceedings{hyodo24slt_chorus,
  abbr_publisher = {Proceedings of IEEE Spoken Language Technology Workshop (SLT)},
  booktitle = {Proceedings of IEEE Spoken Language Technology Workshop (SLT)},
  title = {DNN-based ensemble singing voice synthesis with interactions between singers},
  author = {Hyodo, Hiroaki and Takamichi, Shinnosuke and Nakamura, Tomohiro and Koguchi, Junya and Saruwatari, Hiroshi},
  year = {2024}
}

二重唱の歌い出しタイミングに対する同時性知覚の刺激閾調査

兵藤弘明 , 高道慎之介 , and 猿渡洋

In 日本音響学会秋季研究発表会 , 2024

Bib PDF

@inproceedings{hyodo24asja_duet-timing,
  abbr_publisher = {日本音響学会秋季研究発表会},
  booktitle = {日本音響学会秋季研究発表会},
  title = {二重唱の歌い出しタイミングに対する同時性知覚の刺激閾調査},
  author = {弘明, 兵藤 and 慎之介, 高道 and 洋, 猿渡},
  year = {2024}
}

2023

歌声合成

jaCappellaコーパスv2：重唱分離・合成のための日本語アカペラ重唱コーパスの拡張

中村友彦 , 高道慎之介 , 丹治尚子 , 深山覚 , and 猿渡洋

In 情報処理学会音楽情報科学研究会 , 2023

Bib PDF

@inproceedings{nakamura23mus_jacappella-v2,
  abbr_publisher = {情報処理学会 音楽情報科学研究会},
  booktitle = {情報処理学会 音楽情報科学研究会},
  title = {{jaCappella}コーパスv2：重唱分離・合成のための日本語アカペラ重唱コーパスの拡張},
  author = {友彦, 中村 and 慎之介, 高道 and 尚子, 丹治 and 覚, 深山 and 洋, 猿渡},
  year = {2023},
}