Сбер планирует добавить новые функции в GigaChat, связанные с генерацией музыки по описанию. Благодаря интеграции с нейросетями CLaMP и SymFormer, GigaChat сможет создавать уникальные музыкальные треки по любым текстовым заданиям пользователей.
Обновление было анонсировано в рамках международной ИИ-конференции AI Journey 2023 вице-президентом по цифровым поверхностям «Салюта» Сбера Денисом Филипповым.
Читайте также: ТОП-7 нейросетей для улучшения качества звука
Как будет работать генерация музыки в GigaChat
Пользователь может отправить любой запрос, например «напиши грустную музыку в стиле рок» или «сделай трек для семейного кафе».
После этого, GigaChat преобразует запрос в язык, понятный для генератора мелодий, а затем генерируется несколько вариантов трека, из которых нейросеть подбирает наиболее релевантный по стилю и композиции.
В завершении чат-бот вышлет аудиофайл с оригинальной музыкальной композицией и нотной партитурой в формате MIDI. Далее вы сможет использовать полученный файл для работы в творческих проектах или в своём продакшене, или скачать для прослушивания на своё устройство.
Новые функции GigaChat будут полезны не только авторам и музыкантам, но и предпринимателям. Они смогут быстро, качественно и легально решать бизнес-задачи: создавать фоновую музыку для ресторанов, студий красоты и лаунджей, генерировать треки для рекламных видеороликов и соцсетей.
Для обучения SymFormer использовалась площадка ML Space, работающая на основе суперкомпьютера Christofari, а также датасет из более двухсот тысяч композиций разных стилей: от классической до современной музыки, в том числе хип-хопа, рока и других направлений.
Ранее нейросеть «Кандинский» запустила функцию генерации видео по запросу.
