The purpose of this research is to develop an automated speech commentary generation from video games. This includes video understanding, spoken language generation, and speech evaluation.
Programs for Bridging the gap between R\&D and the IDeal society (society 5.0) and Generating Economic and social value (BRIDGE)/Practical Global Research in the AI × Robotics Services, implemented by the Cabinet Office, Government of Japan (English)
@inproceedings{kawamatsu26nlp_game-commentary-system,abbr_publisher={言語処理学会 全国大会},booktitle={言語処理学会 全国大会},title={並列テキスト生成による低遅延ゲーム音声実況システム},author={亮太, 川松 and 佑樹, 齋藤 and 慎之介, 高道 and ニュービッググラム and 克仁, 須藤 and 大也, 高村 and 達也, 石垣},year={2026},month=mar,}
@inproceedings{matsushita26speasip_sports-commentary-structure,abbr_publisher={情報処理学会 音声言語処理研究会},booktitle={情報処理学会 音声言語処理研究会},title={多ジャンルのスポーツ音声実況における音声特徴量の時間的構造の調査},author={嶺佑, 松下 and 慎之介, 高道 and 佑樹, 齋藤 and グラム, ニュービッグ and 克仁, 須藤 and 大也, 高村 and 達也, 石垣},year={2026},month=mar,}
@inproceedings{saito26speasip_smash-corpus-dlc,abbr_publisher={電子情報通信学会 音声研究会},booktitle={電子情報通信学会 音声研究会},title={SMASHコーパスDLC：対戦ゲーム動画に対する掛け合い実況解説音声コーパス},author={佑樹, 齋藤 and 亮太, 川松 and 慎之介, 高道 and グラム, ニュービッグ and 克仁, 須藤 and 洋, 猿渡 and 大也, 高村 and 達也, 石垣},year={2026},month=mar,}
@inproceedings{matsushita25speasip_delay-tolerance,abbr_publisher={電子情報通信学会 音声研究会},booktitle={電子情報通信学会 音声研究会},title={三人称ゲーム実況音声に対する時間遅延許容量の測定},author={嶺佑, 松下 and 瞭介, 阪井 and 航希, 福田 and 慎之介, 高道 and 昂太, 井浦 and 佑樹, 齋藤 and グラム, ニュービッグ and 克仁, 須藤 and 大也, 高村 and 達也, 石垣},year={2025},}
Excitement-Inducing Commentary Text-to-Speech System for Fighting Game Video Scenes
@article{iura25ieee-access_commentary-tts,title={Excitement-Inducing Commentary Text-to-Speech System for Fighting Game Video Scenes},author={Iura, Kota and Saito, Yuki and Takamichi, Shinnosuke and Neubig, Graham and Sudoh, Katsuhito and Saruwatari, Hiroshi and Takamura, Hiroya and Ishigaki, Tatsuya},year={2025},journal={IEEE Access},}
@inproceedings{iura25speasip_game-commentary,abbr_publisher={情報処理学会 音声言語処理研究会},booktitle={情報処理学会 音声言語処理研究会},title={盛り上がり制御可能な対戦ゲーム実況解説音声合成モデルの検討},author={昂太, 井浦 and 佑樹, 齋藤 and 慎之介, 高道 and グラム, ニュービッグ and 克仁, 須藤 and 洋, 猿渡 and 大也, 高村 and 達也, 石垣},year={2025},}
Open-source Human Evaluation Framework for Video-to-Text and Video-to-Audio Systems
Goran Topic , Graham Neubig , Katsuhito Sudoh , Yuki Saito , Shinnosuke Takamichi , Ryosuke Matsushita , Kota Iura , Hiroya Takamura , and Tatsuya Ishigaki
@inproceedings{topic25nlp_video-evaluation,abbr_publisher={言語処理学会 全国大会},booktitle={言語処理学会 全国大会},title={Open-source Human Evaluation Framework for Video-to-Text and Video-to-Audio Systems},author={Topic, Goran and Neubig, Graham and Sudoh, Katsuhito and Saito, Yuki and Takamichi, Shinnosuke and Matsushita, Ryosuke and Iura, Kota and Takamura, Hiroya and Ishigaki, Tatsuya},year={2025},}
Measuring Time Delay Tolerance in Third-Person Live Commentary for Super Smash Bros. Ultimate
Ryosuke Matsushita , Ryosuke Sakai , Koki Fukuda , Shinnosuke Takamichi , Kota Iura , Yuki Saito , Graham Neubig , Katsuhito Sudoh , Hiroya Takamura , and Tatsuya Ishigaki
@inproceedings{matsushita25cog_time-delay-tolerance,abbr_publisher={IEEE Conference on Games},booktitle={IEEE Conference on Games},title={Measuring Time Delay Tolerance in Third-Person Live Commentary for Super Smash Bros. Ultimate},author={Matsushita, Ryosuke and Sakai, Ryosuke and Fukuda, Koki and Takamichi, Shinnosuke and Iura, Kota and Saito, Yuki and Neubig, Graham and Sudoh, Katsuhito and Takamura, Hiroya and Ishigaki, Tatsuya},month=aug,year={2025},}