Вечером 13-го мая компания OpenAI представила свою новую модель GPT-4 Omni в рамках презентации Spring Update.
Эта модель является пиком совершенства среди всех существующих, значительно превышая возможности её предшественников. Дело в том, что это омнимодель, натренированная сразу на тексте, фото и видео.
Новейшая модель GPT4 Omni будет предоставлена всем пользователям абсолютно бесплатно в формате десктопного приложения. Доступ будет открываться постепенно, в течение нескольких недель, чтобы не допустить перегрузку серверов.
Она превосходит базовую модель GPT-4 в каждом аспекте, особенно в программировании.
GPT4o, обученная одновременно на текстах, изображениях и видео, представляет собой долгожданную мультимодальность. Доступ к ней можно получить через API, при этом она вдвое дешевле и работает вдвое быстрее.
GPT-4 Omni способна распознавать эмоции и интонации голоса. Эта модель общается в естественной и понятной манере, обрабатывает информацию в режиме реального времени, умеет шутить и чувствовать эмоции. Она делает паузы, когда вы задаёте ей вопросы.
GPT-4 Omni может распознавать эмоции по изображению с камеры, она замечает даже микровыражения радости. Модель настолько реалистична, что её почти невозможно отличить от настоящего человека. Видеоролики с демонстрацией работы модели можно посмотреть здесь. OPENAI предоставила 33 видео с примерами использования новой модели.
Кроме того, GPT-4o идеально справляется с задачами, когда требуется перевод с одного языка на другой. На текущий момент модель может говорить на 50 языках. Это значит, что можно будет говорить фразу на одном языке, и получать в ответ перевод этой же фразы на другой язык, что в дальнейшем можно будет использовать GPT-4o в прямой речи между людьми, которые не знают языки друг друга.
Получить доступ к новой нейросети можно по ссылке: https://openai.com/index/hello-gpt-4o/.
Благодаря новой системе токенизации для разных языков, стоимость использования модели значительно снизилась, а объём контекста, который она может обработать, увеличился в несколько раз.
Ранее Stack Overflow и OpenAI объявили о сотрудничестве.
А как скачать эту модель ?
Скачать можно будет позже, доступ будет открываться постепенно. Когда он будет открыт для всех пользователей, мы обновим этот материал.