歴史音声復元
歴史的音源アーカイブに向けたオープンコーパスの整備と AI 音声復元技術の開発
Title / タイトル
歴史的音源アーカイブに向けたオープンコーパスの整備と AI 音声復元技術の開発(2022-2025, 国立国語研究所 異分野融合型共同研究 代表)
Projects / プロジェクト
The purpose of this research is to develop and publish an open speech corpus and an automatic speech restoration technique based on deep learning in order to revive and analyze historical sound sources in modern sound quality. Many historical sound sources related to spoken language (e.g., spoken Japanese of the time) have deteriorated over time without being digitized, and even if they were digitized, they contain many acoustic distortions and omissions. In this research project, the first example of the dialects of the Tohoku region (Miyagi and Iwate prefectures, and parts of Iwate prefecture) preserved on open-reel tape, etc., will be used as a starting point. This project aims to develop a speech corpus for Japanese analysis and a deep learning technique for speech restoration, using the dialects of the Tohoku region (Miyagi and Iwate prefectures) preserved on open reels as the first example. For the former, we will collaborate with the Sendai Museum of Literature, which has a large collection of historical sound sources, and for the latter, we will propose a self-supervised transfer learning method that enables speech restoration from a small amount of data. At the end of the project period, the corpus and restoration techniques will be made publicly available free of charge to anyone for research purposes only, with the aim of promoting high-quality archiving and analysis of historical sound sources.
本研究の目的は、歴史的音源を現代音質に蘇らせ解析するための、オープン音声コーパスと、深層学習に基づく音声自動復元技術の開発・公開である。音声言語に関する歴史的音源 (当時の日本語話し言葉の音声など) の多くは、ディジタル化されないまま経年劣化が進み、仮にディジタル化したとしても音響的な歪みや欠落を多く含む。本研究課題では、オープンリール等に保存された東北地方 (宮城県、岩手県の一部。以下同じ) 方言を最初の例として、日本語解析に資する音声コーパスと、音声復元のための深層学習技術を開発する。前者は、歴史的音源を多数貯蔵する仙台文学館と連携し、後者は、少データからの音声復元を可能にする自己教師あり転移学習を提案する。期間終了後には、コーパスと復元技術を研究目的に限り誰でも無償で利用できる形式で公開し、歴史的音源の高品質アーカイブと解析の促進を狙う。
Member / メンバ
- Shinnosuke Takamichi / 高道 慎之介（慶應義塾大学，代表）
Acknowledgement / 謝辞
- (TBA) (English)
- (TBA) (日本語)
Website / ウェブサイト
- xxx