映像作品などから「セリフ除去」を実現する、音声分離サービスのご紹介

2021年1月25日 18:00 by fum

SONICWIREではAudionamix社の専門エンジニアチームと連携し、高品質な音声分離を実現する、コンテンツホルダー様向け音声分離サービス、APS(オーディオ・プロセッシング・サービス)を提供しております。

これらは主に、映画、ドラマ、アニメーションなど、映像作品を対象とした法人案件でご好評を頂いておりますが、一括りに音声分離と聞いても、把握しきれない点も多いかと思います。

今回は、よりAPSを知って頂けるよう、音声処理の一例であるDialogue Removal【セリフ除去】に焦点を当て、音声分離がどのように行われているのかをご紹介いたします！

■ご利用ケース

・吹替版を考えているが、音声のマルチトラックが存在しない。
・過去番組のアーカイブにつき、当時のナレーションのみを除去したい。
・背景に紛れてしまった会話を除去したい。

昨今の映像作品において、セリフ、BGM、効果音は、それぞれが個々のデータとして管理される事が一般的ですが、作品によっては、全てをミックスしている音源しか存在しないケースもあるかと思います。
APSでは、そのような限られたオーディオソースからの分離を、かつてないクオリティで実現いたします！

それでは、【セリフ除去】がどのような工程で行われていくのか、発注から納品までのステップに沿ってご紹介して参ります！

■1.マスターデータの検証

初めに、ご依頼頂いた素材内容を細部まで分析いたします。
処理対象となる音の大きさ、重なっている音の種類などから、予測される処理精度、考えられる処理方法を検証し、クライアント様へご報告いたします。
これをもとに、ご依頼の内容をクライアント様と調整の上、お見積りのご提案をいたします。

※映像作品に限らず、ラジオ番組や音声資料、ドラマCDなど、音声メディアの分離依頼も承っております。

■2.AIによる音声分離

処理内容が決まりましたら、いよいよ【セリフ除去】の開始です！

ハリウッド映画をはじめ、多くの実績を残しているAudionamix社の分離AIが使用されます。

■3.エンジニアによるクリーンアップ

AIによる分離結果のもと、専門のエンジニアが細やかな調整を行います。
熟練された聴覚と、長年培ってきた技術によって、ベストな状態まで仕上げていきます！

クリーンアップ内容をクライアント様にてご確認頂き、気になる点等があれば調整を繰り返し行う事も可能です*。全ての処理が完了しましたら、電子データにて納品となります！

(*内容によって別途料金が発生いたします。)

■Dialogue Removal【セリフ除去】

それでは実際にセリフ除去を行った短い動画をご覧ください。

Clip from “The Adventures of Lucy” directed by Teddy Valentovich

■0:00～0:14　オリジナルバージョン
分離対象となるオリジナルのシーンです。
【会話】【BGM】【効果音】が鳴っており、特にBGMはセリフ全体に重なっている点にご注目ください。

■0:15～0:29　独自AIによる音声分離処理
Audionamix AIのアルゴリズムによって、セリフのみを除去させたものです。
セリフは殆ど聞こえない状態まで取り除かれ、セリフ以外は原型を保った状態で残っています。

■0:30～0:46　独自AI+エンジニア手動による音声分離処理

機械的なムラや、分離の不足分を、専門エンジニアが細かくクリーンアップした内容です。
ゴワゴワした凹凸感が緩和されて、よりクリアな内容に仕上がっているかと思います！

なお、最後に「ボッ」という音が鳴っておりますが、こちらはセリフの処理漏れなどではなく、セリフ以外を全て忠実に残した結果によるものです。
改めてオリジナルをご確認頂ければ、セリフとは別に鳴っている音(何の音かは不明ですが…)である事がお判り頂けるかと思います。

このように【セリフ除去】は、サウンド内からセリフ成分を的確に分析し、高品質な分離を行う事で、高いクオリティを維持しております。

■セリフ除去の可能性

Netflix、amazon primeなど、ストリーミングプラットフォームは今や世界中に展開されており、コンテンツのローカライズ需要は高まっております。
とはいえ、マルチトラックの無い作品で【吹き替え】版の制作をする場合、セリフの混ざっていないM&E(Music & Effects)を新たに用意する必要があったかと思います。
これには莫大な制作費と時間を要しますが、セリフのみを除去する事で、プロジェクトをスムーズに進行させる事が可能となりました。