映像作品などから「セリフ抽出」を実現する、音声分離サービスのご紹介

2021年5月11日 18:00 by fum

SONICWIREでは、映画、ラジオ、アニメーション作品など、サウンドとの関係性が深いコンテンツを対象とした、コンテンツホルダー様向け音声分離サービス、APS(オーディオ・プロセッシング・サービス)を提供しております。

これまで【セリフ除去】【BGM除去】についてご紹介しましたが、今回はDialogue Isolation【セリフ抽出】に焦点を当て、音声分離がどのように行われているのかをご紹介いたします！

■ご利用ケース

・マルチトラックのないコンテンツからセリフだけを取り出したい

・クラシックな映像作品のサラウンドミックスを実現したい

・アニメキャラクターの劇中セリフを玩具へ移植したい

■APSで使用される先端技術

APSでは、パリとロサンジェルスを拠点とする音声分離のグローバルリーダー、Audionamix社の専門チームと連携したサービスをご提供しています。Audionamixが開発する独自の分離エンジンをベースに、音の構成について熟知した現地チームと連携したプロセスが行われる為、一般流通のソフトウェアでは到達出来ないクオリティでの音声分離を実現可能です。

それでは実際に、【セリフ抽出】がどのような工程で行われていくのか、発注から納品までのステップに沿ってご紹介して参ります！

■1.マスターデータの検証

初めに、ご依頼の音声素材をお送りいただきます。ご依頼の素材から、抽出対象と、重なっている音の性質などを検証し、予測される処理精度、処理方法をクライアント様へご報告いたします。
その後、ご依頼の内容をクライアント様と調整の上、お見積りをご提案をいたします。

※映像作品に限らず、ラジオ番組や音声資料、ドラマCDなど、音声メディアの分離依頼も承っております。

■2.AIによる音声分離

処理内容が決まりましたら、【セリフ抽出】をおこないます。

ハリウッド映画をはじめ、多くの実績を残しているAudionamix社の分離AIが使用されます！

■3.エンジニアによるクリーンアップ

AIによる分離結果のもと、専門のエンジニアが細やかな調整を行います。
熟練された聴覚と、長年培ってきた技術によって、ベストな状態まで仕上げていきます！

クリーンアップ内容をクライアント様にてご確認いただき、気になる点等があれば調整を繰り返し行う事も可能です*。全ての処理が完了しましたら、電子データにて納品となります！

(*内容によって別途料金が発生いたします。)

■Dialogue Isolation【セリフ抽出】

それでは実際にセリフ抽出を行った短い動画をご覧ください。

■0:00～0:20　オリジナルバージョン
分離対象となるオリジナルのシーンです。
【会話】の背後に、数種類の鳥の鳴き声や、屋外特有の背景音を確認出来ます。

■0:21～0:40　独自AIによるセリフの抽出
Audionamix AIのアルゴリズムによるセリフの抽出を施した内容です。
きれいに抽出されましたが、まだ【会話】内に、高い周波数の鳴き声が混じっているのを確認出来ます。

■0:41～1:01　独自AI＋エンジニア手動によるセリフ抽出

独自AIによる抽出結果を元に、エンジニアによるマニュアル作業を施した内容です。
【会話】に紛れ込んでいた鳥の鳴き声も無く、クリーンアップされているのが確認出来ます。

■セリフ抽出の汎用性

海外番販などで、ローカライズを想定したコンテンツをライセンスする際、特定の声のみオリジナルの音声を使用したい（してほしい）ケースがあるかと思います。例えばアニメ作品において、特徴的な発声を持ち味とするキャラクターであったり、言語をもたないキャラクターが居る場合などです。また、役者が唄う歌など、吹替えでの補完が難しい場合も、オリジナルの音声を使用したいケースになるかと思います。

クラシックな映像作品や、トラブルなどによりマルチデータの残っていないコンテンツの場合、特定の声のみオリジナル版を適用するといった事が困難でしたが、APS音声分離が実現するセリフ抽出により、これらをコントロールする事が容易となりました。抽出された音声は、サラウンドミックスの際のステムデータとして使用出来る他、玩具/プライズ製品への組込み等、広範囲なアウトプットを実現し、コンテンツホルダー様の資産価値最大化へ貢献いたします。