Нейросети Яндекс Браузера научились переводить видео с китайского языка и автоматически накладывать русскую озвучку.
Технология уже работает на YouTube, а чуть позже появится поддержка популярной китайской видеоплатформы Bilibili.
Как работает автоматический перевод с китайского в Яндекс Браузере
Яндекс Браузер сам предлагает перевести видео с китайского на YouTube сразу после того, как пользователь его откроет. Нужно просто нажать на кнопку «Перевести видео».
Основные тонкости технологии:
- Уникальный датасет. Разработчики Яндекса с нуля собрали собственный датасет. С помощью специального алгоритма они обработали 1,5 миллиона видео и выбрали 100 тысяч с качественными субтитрами на севернокитайском языке. Соответствие аудио и субтитров важно, потому что именно по ним нейросеть учится понимать речь.
- Понимание письменности. Чтобы превращать речь в текст, нейросети браузера выучили тысячи иероглифов. Каждый из них читается как слог. Чтобы нейросеть научилась их понимать, весь необходимый для работы с китайским словарь разработчики закодировали в виде 10 000 токенов.
- Тоны и контекст. На изучение и распознавание четырёх тонов, определяющих смысл сказанного в китайском языке, у нейросети заняло месяц. Ещё в китайском много омофонов — слов, которые звучат одинаково, но пишутся по-разному и обладают разным значением. Чтобы различать их, нейросети Яндекс Браузера умеют учитывать контекст.
Кроме того, у Яндекса появилась достаточная технологическая база для работы с другими сложными языками. Например, корейским и японским.
Ранее в Яндекс Браузере появились интерактивные субтитры для видео на четырёх языках.
