Команда OpenAI сообщила в своём блоге, что они разработали текстовые «водяные знаки» для распознавания текста, сгенерированного ChatGPT, а также инструменты для их обнаружения.
По другим источникам, эти инструменты существуют уже около года. Однако в компании не могут прийти к единому мнению о том, следует ли их использовать. С одной стороны, это выглядит как ответственный шаг, с другой — это может отрицательно сказаться на доходах компании.
Если максимально упростить, то работает это следующим образом. Водяные знаки OpenAI это что-то вроде настроек модели, которая предсказывает наиболее вероятные слова и фразы, следующие за предыдущими, создавая легко определяемый шаблон.
Как заявили в компании, этот метод распознавания ИИ-текста оказался весьма точным и эффективным против локального вмешательства, такого как перефразирование. Но он менее устойчив к глобальному вмешательству, например, использование нейросетей для перевода или перефразирование с помощью другой нейросети.
Наличие способа для опредления текста, написанного ИИ, может быть полезно учителям, которые хотят предотвратить использование ИИ для выполнения домашних заданий или написания курсовых работ.
OpenAI также опасается, что использование водяных знаков может отпугнуть пользователей ChatGPT, почти 30 процентов из которых заявили, что будут реже использовать сервис, если водяные знаки будут добавлены.
Поэтому, OpenAI находится «на ранних стадиях» исследования встраивания метаданных. Компания говорит, что пока «слишком рано» судить о том, насколько хорошо это будет работать, но поскольку метаданные криптографически подписаны, ложных срабатываний не будет.
Ранее OpenAI начала открывать доступ пользователям к «продвинутому» голосовому режиму в ChatGPT.
