С этим проектом тоже связана одна милая история. Мой дорогой друг и коллега Тоби как-то рассказал мне, что нашёл в интернете крутой манга. Он немного жаловался, что фанатский перевод с английского понимает лишь кое-как, так как не очень силён в английском. Ему приходилось делать скриншоты, использовать OCR и переводить каждый бабл по отдельности, чтобы понять, о чём вообще речь.
И я воспринял это как вызов. Можно же по-другому. В общем, я изучил всю эту затею и обнаружил, что маньхуа в исходном виде представляет собой просто кучу склеенных друг с другом картинок. Тогда я взял оригинал, который находится в свободном доступе, скачал его и прогнал через OCR-софт. Я пометил текст и позиции, которые были определены по баблам. Затем я закрасил исходный контент и вставил туда перевод на немецкий.
Но этого было недостаточно. После всей этой возни я в итоге назначил этому манга разные голоса. С помощью нескольких прогонов ИИ я заставил систему понять сюжет — что, кстати, опять происходило у меня локально. Затем ИИ определяет дикторов, главных действующих лиц. Это работает ещё не идеально, но вполне достаточно. Потом накладываются звуковые эффекты (Sound-FX), затем музыка, и в итоге я озвучил весь этот комикс, а точнее, сделал из него видео. Прикрепляю здесь один эпизод, чтобы показать, как это работает.
Ну и теперь у нас есть практически автоматический пайплайн того, как обычный манга превращается в видео, которое можно запустить фоном. Посмотрите, довольно мило получилось. Параллельно я прикладываю код моей Manga Factory. Всё понятно, наслаждайтесь, а в остальном, как обычно: можете разбирать исходный код, адаптировать под себя и использовать. Пользуйтесь в удовольствие!
Ах да, дополнение: мне было мало просто создавать из этого видео. Нет, я решил через свою сеть T-Scale одновременно построить автоматизированный плеер, чтобы всё это красиво воспроизводилось одно за другим прямо с веб-страницы. Просто видеофайл — это было бы скучно. Нет, если уж делать, то делать по-нормальному.
Gallery



