アバター共生社会

2024

1. コーパス

   SaSLaW: Dialogue Speech Corpus with Audio-visual Egocentric Information Toward Environment-adaptive Dialogue Speech Synthesis

   Osamu Take ,  Shinnosuke Takamichi ,  Kentaro Seki , and 2 more authors

   In Proceedings of Interspeech , Mar 2024

   Bib

   @inproceedings{take24interspeech_saslaw,
     abbr_publisher = {Proceedings of Interspeech},
     booktitle = {Proceedings of Interspeech},
     title = {SaSLaW: Dialogue Speech Corpus with Audio-visual Egocentric Information Toward Environment-adaptive Dialogue Speech Synthesis},
     author = {Take, Osamu and Takamichi, Shinnosuke and Seki, Kentaro and Bando, Yoshiaki and Saruwatari, Hiroshi},
     year = {2024},
     memo = {Part of this work was supported by JSPS KAKENHI Grant
     Number 23H03418 and 22H03639, Moonshot R&D Grant Number JPMJPS2011, and JST FOREST JPMJFR226V. The authors also thank Aya Watanabe for her support in designing the figures for this paper.}
   }

2. コーパス

   最先端の予測性能を持つ合成音声品質の自動評価システム UTMOS について

   佐伯 高明 ,  and  高道 慎之介

   日本音響学会誌, Mar 2024

   (Invited article / 招待記事)

   Bib

   @article{saeki24asj-kaisetsu_utmos,
     title = {最先端の予測性能を持つ合成音声品質の自動評価システム UTMOS について},
     author = {高明, 佐伯 and 慎之介, 高道},
     year = {2024},
     journal = {日本音響学会誌},
     note = {(Invited article / 招待記事)},
     memo = {本研究は科研費 21H04900，22H03639，23H03418，23K18474，JST創発的研究支援事業 JP23KJ0828，ムーンショット JPMJPS2011 の助成を受けた．本解説記事の執筆に際し，東京大学大学院の関健太郎氏の助言を受けた．}
   }

3. 音声合成

   Text-Inductive Graphone-Based Language Adaptation for Low-Resource Speech Synthesis

   Takaaki Saeki ,  Soumi Maiti ,  Xinjian Li , and 3 more authors

   IEEE/ACM Transactions on Audio, Speech, and Language Processing, Mar 2024

   Bib Code

   @article{saeki24taslp_text-inductive-tts,
     title = {Text-Inductive Graphone-Based Language Adaptation for Low-Resource Speech Synthesis},
     author = {Saeki, Takaaki and Maiti, Soumi and Li, Xinjian and Watanabe, Shinji and Takamichi, Shinnosuke and Saruwatari, Hiroshi},
     year = {2024},
     journal = {IEEE/ACM Transactions on Audio, Speech, and Language Processing}
   }

4. 音声評価

   テキスト生成の自動評価尺度に基づく音声生成の自動評価

   佐伯 高明 ,  マイティ ソウミ ,  高道 慎之介 , and 2 more authors

   In 電子情報通信学会 音声研究会 , Mar 2024

   Bib PDF

   @inproceedings{saeki24sp_speechevaluation,
     abbr_publisher = {電子情報通信学会 音声研究会},
     booktitle = {電子情報通信学会 音声研究会},
     title = {テキスト生成の自動評価尺度に基づく音声生成の自動評価},
     author = {高明, 佐伯 and ソウミ, マイティ and 慎之介, 高道 and 晋治, 渡部 and 洋, 猿渡},
     year = {2024},
     memo = {JSPS 科 研 費 23H03418，23K18474，22H03639，21H05054，22KJ0838 ムーンショット研究開発費 JPMJPS2011，および JST FOREST JPMJFR226V によって支援された．}
   }

5. コーパス

   インターネット時代の音声コーパスの作成

   高道 慎之介

   日本音響学会誌, Mar 2024

   (Invited article / 招待記事)

   Bib PDF

   @article{takamichi24asj_invited-article-dark-data,
     title = {インターネット時代の音声コーパスの作成},
     author = {慎之介, 高道},
     year = {2024},
     journal = {日本音響学会誌},
     note = {(Invited article / 招待記事)},
     memo = {本研究は科研費 21H04900，22H03639，23H03418，23K18474，JST創発的研究支援事業 JP23KJ0828，ムーンショット JPMJPS2011 の助成を受けた．また，本稿の執筆にあたり東京大学 大学院情報理工学系研究科 修士課程 関 健太郎氏からの助言を受けた．}
   }

6. コーパス

   環境音に対する日本語自由記述文コーパスとベンチマーク分析

   岡本 悠希 ,  高道 慎之介 ,  森松 亜依 , and 3 more authors

   In 言語処理学会 全国大会 , Mar 2024

   Bib PDF

   @inproceedings{okamoto24nlp_multi-lingual-audiocaps,
     abbr_publisher = {言語処理学会 全国大会},
     booktitle = {言語処理学会 全国大会},
     title = {環境音に対する日本語自由記述文コーパスとベンチマーク分析},
     author = {悠希, 岡本 and 慎之介, 高道 and 亜依, 森松 and 亞椰, 渡邊 and 桂右, 井本 and 洋一, 山下},
     year = {2024},
     memo = {本研究は，ムーンショット JPMJPS2011，JST 創発的研 究支援事業 JP23KJ0828，科研費 21H05054，21H04900，22H0363， 23H03418，23K16908 の支援を受け実施した.}
   }

7. コーパス

   YODAS：YouTube 動画から構築される多言語大規模音声データセット

   Xinjian Li ,  高道 慎之介 ,  佐伯 高明 , and 3 more authors

   In 日本音響学会春季研究発表会 , Mar 2024

   Bib PDF Slides

   @inproceedings{li24asjs_yodas,
     abbr_publisher = {日本音響学会春季研究発表会},
     booktitle = {日本音響学会春季研究発表会},
     title = {{YODAS：YouTube} 動画から構築される多言語大規模音声データセット},
     author = {Li, Xinjian and 慎之介, 高道 and 高明, 佐伯 and Chen, William and 塩田さやか and 晋治, 渡部},
     year = {2024},
     memo = {本研究は，アメリカ国立科学財団資金番号 #2138259, #2138286, #2138307, #2137603, #2138296 により支援さ れた，PSC Bridges2 と NCSA Delta via ACCESS allocation CIS210014 を使用した．また本研究は科研費 21H04900, 22H03639，23H03418，JST 創発的研究支援事業 JP23KJ0828， ムーンショット JPMJPS2011 の助成を受けた．}
   }

8. NecoBERT：音声合成のために事前学習された自己教師あり学習モデル

   中田 亘 ,  佐伯 高明 ,  齋藤 佑樹 , and 2 more authors

   In 日本音響学会春季研究発表会 , Mar 2024

   PDF
9. 音声合成

   Diversity-based core-set selection for text-to-speech with linguistic and acoustic features

   Kentaro Seki ,  Shinnosuke Takamichi ,  Takaaki Saeki , and 1 more author

   In Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) , Mar 2024

   arXiv Bib

   @inproceedings{seki24icassp_core-set-selection,
     abbr_publisher = {Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
     booktitle = {Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
     title = {Diversity-based core-set selection for text-to-speech with linguistic and acoustic features},
     author = {Seki, Kentaro and Takamichi, Shinnosuke and Saeki, Takaaki and Saruwatari, Hiroshi},
     year = {2024}
   }

10. コーパス

    音環境に適応するテキスト音声合成のための一人称視点コーパス構築

    武 伯寒 ,  高道 慎之介 ,  関 健太郎 , and 2 more authors

    In 情報処理学会 音声言語処理研究会 , Mar 2024

    Bib PDF

    @inproceedings{take24slp_1st-person-tts,
      abbr_publisher = {情報処理学会 音声言語処理研究会},
      booktitle = {情報処理学会 音声言語処理研究会},
      title = {音環境に適応するテキスト音声合成のための一人称視点コーパス構築},
      author = {伯寒, 武 and 慎之介, 高道 and 健太郎, 関 and 宜昭, 坂東 and 洋, 猿渡},
      year = {2024},
      memo = {本研究の一部は，科研費 22H03639，23K18474， JST 創発的研究支援事業 JP23KJ0828，及び JST ムーンショット型研究開発事業 JPMJMS2011 の助成を受け実施 しました．また, 原稿の作成に際して, 渡邊 亞椰さんには 図の作成でご協力頂きました. この場を借りて感謝申し上げます}
    }

11. 音声分析

    Do learned speech symbols follow Zipf’s law?

    Shinnosuke Takamichi ,  Hiroki Maeda ,  Joonyong Park , and 2 more authors

    In Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) , Mar 2024

    arXiv Bib

    @inproceedings{meada24icassp_zipf-law,
      abbr_publisher = {Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
      booktitle = {Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
      title = {Do learned speech symbols follow {Z}ipf's law?},
      author = {Takamichi, Shinnosuke and Maeda, Hiroki and Park, Joonyong and Saito, Daisuke and Saruwatari, Hiroshi},
      year = {2024}
    }

12. 音声認識

    Cocktail Machine Speech Chain: 重複あり音声を用いた音声認識・音声合成モデルの統一的学習

    松永 裕太 ,  高道 慎之介 ,  上乃 聖 , and 1 more author

    In 日本音響学会春季研究発表会 , Mar 2024

    Bib PDF

    @inproceedings{matsunaga24asjs_cocktail-speech-chain,
      abbr_publisher = {日本音響学会春季研究発表会},
      booktitle = {日本音響学会春季研究発表会},
      title = {Cocktail Machine Speech Chain: 重複あり音声を用いた音声認識・音声合成モデルの統一的学習 },
      author = {裕太, 松永 and 慎之介, 高道 and 聖, 上乃 and 洋, 猿渡},
      year = {2024},
      memo = {本研究は，JST 次世代研究者挑戦的研究プログラム JPMJSP2108，ムーンショット JPMJPS2011，JST 創発的研究支 援事業 JP23KJ0828，科研費 21H05054, 22H03639，23H03418 の支援と，東京大学の齋藤佑樹博士, 佐伯高明氏の協力を受け実施 したものです.}
    }

13. 音声合成

    Emotion-controllable Speech Synthesis using Emotion Soft Label, Utterance-level Prosodic Factors, and Word-level Prominence

    Xuan Luo ,  Shinnosuke Takamichi ,  Yuki Saito , and 2 more authors

    APSIPA Transactions, Mar 2024

    Bib PDF

    @article{luo24apsipa-trans_emotion-synthesis,
      title = {Emotion-controllable Speech Synthesis using Emotion Soft Label, Utterance-level Prosodic Factors, and Word-level Prominence},
      author = {Luo, Xuan and Takamichi, Shinnosuke and Saito, Yuki and Koriyama, Tomoki and Saruwatari, Hiroshi},
      year = {2024},
      journal = {APSIPA Transactions},
    }

14. 楽音合成

    複数のオーディオエフェクトが適用された楽音に対するエフェクトチェイン推定と原音復元

    武 伯寒 ,  渡邉 研斗 ,  中塚 貴之 , and 5 more authors

    In 日本音響学会春季研究発表会 , Mar 2024

    Bib PDF

    @inproceedings{take24asjs_audio-effect,
      abbr_publisher = {日本音響学会春季研究発表会},
      booktitle = {日本音響学会春季研究発表会},
      title = {複数のオーディオエフェクトが適用された楽音に対するエフェクトチェイン推定と原音復元},
      author = {伯寒, 武 and 研斗, 渡邉 and 貴之, 中塚 and Cheng, Tian and 倫靖, 中野 and 真孝, 後藤 and 慎之介, 高道 and 洋, 猿渡},
      year = {2024},
      memo = {本研究は科研費 21H04900, 22H03639，23H03418， JST 創発的研究支援事業 JP23KJ0828，ムーンショット JPMJPS2011 の助成を受けたものです}
    }

15. 楽音合成

    Audio Effect Chain Estimation and Dry Signal Recovery from Multi-Effect-Processed Musical Signals

    Osamu Take ,  Kento Watanabe ,  Takayuki Nakatsuka , and 5 more authors

    In Proceedings of International Conference on Digital Audio Effects (DAFx) , Mar 2024

    Bib

    @inproceedings{take24dafx_effect-chain,
      abbr_publisher = {Proceedings of International Conference on Digital Audio Effects (DAFx)},
      booktitle = {Proceedings of International Conference on Digital Audio Effects (DAFx)},
      title = {Audio Effect Chain Estimation and Dry Signal Recovery from Multi-Effect-Processed Musical Signals},
      author = {Take, Osamu and Watanabe, Kento and Nakatsuka, Takayuki and Cheng, Tian and Nakano, Tomoyasu and Goto, Masataka and Takamichi, Shinnosuke and Saruwatari, Hiroshi},
      memo = {This work is supported by JSPS KAKENHI 21H04900,
      22H03639, and 23H03418, JST FOREST JPMJFR226V, and
      Moonshot R&D Grant Number JPMJPS2011.},
      year = {2024}
    }

2023

1. 音声合成

   Coco-Nut: Corpus of Japanese Utterance and Voice Characteristics Description for Prompt-based Control

   Aya Watanabe ,  Shinnosuke Takamichi ,  Yuki Saito , and 3 more authors

   In IEEE Automatic Speech Recogiton and Understanding Workshop (ASRU) , Mar 2023

   arXiv Bib Website

   @inproceedings{watanabe23asru_coconut-corpus,
     abbr_publisher = {IEEE Automatic Speech Recogiton and Understanding Workshop (ASRU)},
     booktitle = {IEEE Automatic Speech Recogiton and Understanding Workshop (ASRU)},
     title = {{Coco-Nut}: Corpus of {J}apanese Utterance and Voice Characteristics Description for Prompt-based Control},
     author = {Watanabe, Aya and Takamichi, Shinnosuke and Saito, Yuki and Nakata, Wataru and Xin, Detai and Saruwatari, Hiroshi},
     year = {2023}
   }

2. 音声合成

   Coco-Nut: 自由記述文による声質制御に向けた多話者音声・声質自由記述ペアデータセット

   渡邊 亞椰 ,  高道 慎之介 ,  齋藤 佑樹 , and 2 more authors

   In 日本音響学会秋季研究発表会 , Mar 2023

   Bib PDF Slides Website

   @inproceedings{watanabe23asja_coconut,
     abbr_publisher = {日本音響学会秋季研究発表会},
     booktitle = {日本音響学会秋季研究発表会},
     title = {Coco-Nut: 自由記述文による声質制御に向けた多話者音声・声質自由記述ペアデータセット},
     author = {亞椰, 渡邊 and 慎之介, 高道 and 佑樹, 齋藤 and 徳泰, 辛 and 洋, 猿渡},
     year = {2023}
   }

3. 音声合成

   深層学習で獲得される音声シンボルは自然言語シンボルと同様に Zipf 則に従うか？

   前田 紘希 ,  高道 慎之介 ,  朴 浚鎔 , and 1 more author

   In 日本音響学会秋季研究発表会 , Mar 2023

   Bib PDF Slides

   @inproceedings{maeda23asja_zipf,
     abbr_publisher = {日本音響学会秋季研究発表会},
     booktitle = {日本音響学会秋季研究発表会},
     title = {深層学習で獲得される音声シンボルは自然言語シンボルと同様に {Zipf} 則に従うか？},
     author = {紘希, 前田 and 慎之介, 高道 and 浚鎔, 朴 and 洋, 猿渡},
     year = {2023}
   }

4. 音声合成

   学習・評価ループを用いたデータ選択によるダークデータからの音声合成

   関 健太郎 ,  高道 慎之介 ,  佐伯 高明 , and 1 more author

   In 日本音響学会春季研究発表会 , Mar 2023

   Bib PDF

   @inproceedings{seki23asjs_dark-data,
     abbr_publisher = {日本音響学会春季研究発表会},
     booktitle = {日本音響学会春季研究発表会},
     title = {学習・評価ループを用いたデータ選択によるダークデータからの音声合成},
     author = {健太郎, 関 and 慎之介, 高道 and 高明, 佐伯 and 洋, 猿渡},
     year = {2023}
   }

5. 音声合成

   Mid-attribute Speaker Generation using Optimal-Transport-based Interpolation of Gaussian Mixture Models

   Aya Watanabea ,  Shinnosuke Takamichi ,  Yuki Saito , and 2 more authors

   In Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) , Mar 2023

   arXiv Bib Code Website

   @inproceedings{watanabe23icassp_mid-attribute,
     abbr_publisher = {Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
     booktitle = {Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
     title = {Mid-attribute Speaker Generation using Optimal-Transport-based Interpolation of Gaussian Mixture Models},
     author = {Watanabea, Aya and Takamichi, Shinnosuke and Saito, Yuki and Xin, Detai and Saruwatari, Hiroshi},
     year = {2023}
   }

6. 音声合成

   vTTS: visual-text to speech

   Yoshifumi Nakano ,  Takaaki Saeki ,  Shinnosuke Takamichi , and 2 more authors

   In Proceedings of IEEE Spoken Language Technology Workshop (SLT) , Mar 2023

   arXiv Bib Code Slides

   @inproceedings{nakano23slt_visual-text-to-speech,
     abbr_publisher = {Proceedings of IEEE Spoken Language Technology Workshop (SLT)},
     booktitle = {Proceedings of IEEE Spoken Language Technology Workshop (SLT)},
     title = {{vTTS}: visual-text to speech},
     author = {Nakano, Yoshifumi and Saeki, Takaaki and Takamichi, Shinnosuke and Sudoh, Katsuhito and Saruwatari, Hiroshi},
     year = {2023}
   }

7. 音声分析

   How Generative Spoken Language Model Encodes Noisy Speech: Investigation from Phonetics to Syntactics

   Joonyong Park ,  Shinnosuke Takamichi ,  Tomohiko Nakamura , and 3 more authors

   In Proceedings of Interspeech , Mar 2023

   arXiv Bib

   @inproceedings{park23interspeech_gslm,
     abbr_publisher = {Proceedings of Interspeech},
     booktitle = {Proceedings of Interspeech},
     title = {How Generative Spoken Language Model Encodes Noisy Speech: Investigation from Phonetics to Syntactics},
     author = {Park, Joonyong and Takamichi, Shinnosuke and Nakamura, Tomohiko and Seki, Kentaro and Xin, Detai and Saruwatari, Hiroshi},
     year = {2023}
   }

8. 音声合成

   Text-to-speech synthesis from dark data with evaluation-in-the-loop data selection

   Kentaro Seki ,  Shinnosuke Takamichi ,  Takaaki Saeki , and 1 more author

   In Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) , Mar 2023

   arXiv Bib

   @inproceedings{seki23icassp_dark-data,
     abbr_publisher = {Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
     booktitle = {Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)},
     title = {Text-to-speech synthesis from dark data with evaluation-in-the-loop data selection},
     author = {Seki, Kentaro and Takamichi, Shinnosuke and Saeki, Takaaki and Saruwatari, Hiroshi},
     year = {2023}
   }

9. 音声合成

   Improving robustness of spontaneous speech synthesis with linguistic speech regularization and pseudo-filled-pause insertion

   Yuta Matsunaga ,  Takaaki Saeki ,  Shinnosuke Takamichi , and 1 more author

   In Proceedings of Speech Synthesis Workshop (SSW) , Mar 2023

   arXiv Bib Website

   @inproceedings{matsunaga23ssw_filler-synthesis,
     abbr_publisher = {Proceedings of Speech Synthesis Workshop (SSW)},
     booktitle = {Proceedings of Speech Synthesis Workshop (SSW)},
     title = {Improving robustness of spontaneous speech synthesis with linguistic speech regularization and pseudo-filled-pause insertion},
     author = {Matsunaga, Yuta and Saeki, Takaaki and Takamichi, Shinnosuke and Saruwatari, Hiroshi},
     year = {2023}
   }