Нейросети Яндекс Браузера научились переводить видео с китайского языка и автоматически накладывать русскую озвучку.

Технология уже работает на YouTube, а чуть позже появится поддержка популярной китайской видеоплатформы Bilibili.

Реклама: 2VtzqxH87n9

Как работает автоматический перевод с китайского в Яндекс Браузере

Яндекс Браузер сам предлагает перевести видео с китайского на YouTube сразу после того, как пользователь его откроет. Нужно просто нажать на кнопку «Перевести видео».

Перевод с китайского

Основные тонкости технологии:

  • Уникальный датасет. Разработчики Яндекса с нуля собрали собственный датасет. С помощью специального алгоритма они обработали 1,5 миллиона видео и выбрали 100 тысяч с качественными субтитрами на севернокитайском языке. Соответствие аудио и субтитров важно, потому что именно по ним нейросеть учится понимать речь.
  • Понимание письменности. Чтобы превращать речь в текст, нейросети браузера выучили тысячи иероглифов. Каждый из них читается как слог. Чтобы нейросеть научилась их понимать, весь необходимый для работы с китайским словарь разработчики закодировали в виде 10 000 токенов.
  • Тоны и контекст. На изучение и распознавание четырёх тонов, определяющих смысл сказанного в китайском языке, у нейросети заняло месяц. Ещё в китайском много омофонов — слов, которые звучат одинаково, но пишутся по-разному и обладают разным значением. Чтобы различать их, нейросети Яндекс Браузера умеют учитывать контекст.

Кроме того, у Яндекса появилась достаточная технологическая база для работы с другими сложными языками. Например, корейским и японским.

Ранее в Яндекс Браузере появились интерактивные субтитры для видео на четырёх языках.

Сравнение онлайн-курсов
Перед тем, как купить любой курс, сравните условия от разных школ — стоимость обучения, скидки, длительность, есть ли программа трудоустройства.

Подобрать онлайн-курс >>
Реклама
Больше статей по теме:

ОСТАВЬТЕ ОТВЕТ

Напишите комментарий
Введите своё имя