▲Photo by JK Sloan on Unsplash

ヤマハは、開発を進めているディープラーニングを使用した歌声合成技術「VOCALOID:AI」（ボーカロイド：エーアイ）を用いて、故・美空ひばりの歌声を再現し、新曲ライブを実現するという取り組みを支援した。

この取り組みや新曲ライブの様子は、2019年9月29日（日）に放送予定の「NHKスペシャル AIでよみがえる美空ひばり（仮）」で披露。「VOCALOID」の進化形である「VOCALOID:AI」の公開および実用化も今回が初めてになるという。

今回は、没後30年を迎えた美空ひばりの新曲ライブを、現代のAI技術を用いて実現するというもの。4K・3Dの等身大のホログラム映像でステージ上に本人を出現させ、秋元康プロデュースの新曲を、美空ひばりの歌声で再現するプロジェクトだ。

ヤマハは、新曲のボーカルパートと曲中のセリフパートの制作を担当。「VOCALOID:AI」を用いることで、美空ひばり本人の歌声や歌い方、話し声の特徴を忠実に反映したボーカルパートとセリフパートの作成を実現。合成に必要となる学習データには、生前の歌や話し声を収録した音源を使用した。

また、歌声音源の背景には伴奏音が含まれていたが、同社の「伴奏音除去技術」を用いて歌声部分のみを抽出、質の高い学習データを生成し、高品質な合成を実現したそうだ。