MUCKYWORX // PROJECT
Manga Factory
PROJECT

Manga Factory

中国のマンフアに興味はあるけど、中国語が全然できない時に起こること。

このプロジェクトにも、ちょっとしたストーリーがあります。親友で同僚のTobiが、ネットですごいマンガを見つけたという話を教えてくれました。ただ、彼は英語がそれほど得意ではないので、英語のファン翻訳を理解するのにかなり苦労しているとぼやいていました。内容を理解するために、スクリーンショットを撮ってOCRにかけ、吹き出し一つひとつを個別に翻訳しなきゃいけなかったそうです。

私はそれを挑戦状として受け取りました。「もっといいやり方があるはずだ」と。そこで状況を確認したところ、そのマンフアは単純に画像が縦に繋がっただけの形式であることに気づきました。そこで、無料で公開されているオリジナル版をダウンロードし、OCRソフトにかけました。テキストを抽出し、吹き出しから特定した位置情報もマークしました。その後、元の文字を塗りつぶして、そこにドイツ語訳を流し込んだわけです。

ですが、それだけではまだ足りません。この一連の作業が終わった後、最終的にマンガの全キャラクターに声を割り当てることにしました。AIにストーリーを理解させ(もちろん、これも私のローカル環境で実行しています)、メインキャラクターなどの話者をAIに判定させたのです。まだ完璧とは言えませんが、十分なレベルです。そこにサウンドエフェクト(SE)とBGMを重ね、最終的にコミック全体を音声化してビデオにしました。どういう仕組みか見せるために、エピソードを一つ添付しておきます。

さて、これで普通のマンガを、ながら聴きできるビデオに変換する実質的な自動パイプラインが完成しました。ぜひ見てみてください。かなりいい感じになっています。あわせて、Manga Factoryのプログラムコードも公開しておきます。それでは、お楽しみください。いつもの通り、ソースコードは自由に分解して、自分好みに調整して使ってください。楽しんで!

あ、追記です。ビデオを作るだけでは不十分でした。T-Scaleネットワークを使って、ウェブサイトから美しく連続再生できる自動プレイヤーも同時に構築しました。ただのビデオファイルじゃつまらないですからね。やるなら徹底的にやりたい。