Привет! Меня зовут Анатолий Чупин. Я веду канал «Промты — и точка», проект Postium и каждый день пользуюсь нейросетями.
В постоянной рубрике #тестиум я тестирую и сравниваю разные ИИ-модели, чтобы выяснить, насколько хорошо они справляются с реальными задачами. Сегодня я протестирую Claude Haiku 5.5.
Читайте также: 5 лучших нейросетей для работы
Тестиум: тестируем Claude Haiku 5.5
В этом выпуске проверю, как Claude Haiku 5.5 справляется с повседневными задачами: написанием постов, редактурой, объяснением сложных идей простыми словами, анализом данных и поиском актуальной информации в интернете.
Для тестирования использую Claude Haiku 5.5 в отдельном проекте, без контекста из других чатов. Уровень усилий — максимальный.
Тест № 1. Пост о пользе кофе — 3/10
Формально модель справилась: написала 574 знака с пробелами, рассказала о трёх полезных свойствах кофе, обошлась без списков, сложных терминов и явных преувеличений.
Но со стилем возникли проблемы. Я просил лёгкий, живой текст для развлекательного Telegram-канала, а получил что-то среднее между плохим копирайтингом и научно-популярной заметкой.
Фразы «числится в бодрящих напитках», «некоторые наблюдения за большими группами людей», «есть и намёки» звучат неестественно. «Главный секрет в умеренности» и «организмы у всех разные» — избитые формулировки, которые только портят текст.
Из удачного — сравнение сердцебиения с барабаном. Но одного такого момента мало.
По содержанию и объёму вопросов почти нет, а вот заданную манеру письма Haiku не осилила. Пост получился тяжёлым, местами откровенно искусственным. Его нужно переписать с нуля.
Тест № 2. Редактирование машинного текста — 5/10
Claude Haiku хорошо распознала признаки машинного текста: нашла канцелярит, повторы, шаблонные обороты и тяжёлые конструкции. Некоторые правки получились удачными. Например, фраза про работу с перепиской клиента стала заметно проще и естественнее.
Но сама редактура вышла неровной. «ИИ всё чаще входит в повседневную жизнь» — избитый оборот, а «Во многих сценариях задачи теперь решаются быстрее и удобнее» звучит не лучше исходного варианта.
Кроме того, модель слишком механически избавлялась от противопоставлений, хотя конструкция «не X, а Y» не всегда плоха и вполне допустима.
Концовка тоже осталась шаблонной: «В итоге ИИ полезен и обычным пользователям, и бизнесу». Получается, Haiku замечает недостатки машинного текста, но при исправлении сама допускает похожие ошибки.
В целом текст стал чище, есть хорошие точечные правки, но редактуру всё равно придётся доделывать вручную.
Тест № 3. Объяснение «Преступления и наказания» через вселенную DC — 4/10
Здесь Haiku нужно было объяснить главную идею романа Достоевского человеку, который не читал книгу, но хорошо знаком с персонажами DC.
Модель начала с Джокера и сцены с двумя паромами из «Тёмного рыцаря». Идея интересная, но аналогия получилась поверхностной. Джокер проверяет моральные принципы других людей, а Раскольников пытается доказать самому себе, что принадлежит к числу «необыкновенных». Haiku обозначила сходство, но не стала его развивать. После первого абзаца вселенная DC вообще исчезла из объяснения.
Есть и смысловые ошибки. Фраза «раз он умный, значит, сойдёт с рук» искажает мотив Раскольникова. Его теория прежде всего о моральном праве переступить через запрет, а не о способности избежать наказания.
Утверждение «полиция его не ловит» тоже слишком упрощает сюжет. Порфирий Петрович подозревает Раскольникова и оказывает на него психологическое давление.
При этом написано довольно живо, а основные темы романа — теория исключительности, муки совести и признание — модель всё-таки затронула. Но я просил объяснить произведение через знакомых персонажей DC, а получил краткий пересказ с одной аналогией в начале.
Тест № 4. Анализ данных Google Search Console — 6/10
На анализ выгрузки Claude Haiku потратила почти 10 минут. За это время модель изучила показатели, сравнила CTR разных страниц, нашла запросы с большим числом показов и предложила несколько способов увеличить трафик.
С цифрами она поработала неплохо, но полезных находок оказалось мало.
Главное упущение — влияние ИИ-ответов Google на кликабельность. Например, запрос «зумеры это» получил более 45 тысяч показов и всего 35 кликов. Причина может быть вовсе не в плохом заголовке или содержании статьи. Пользователь видит ответ прямо в поисковой выдаче, поэтому переходить на сайт ему незачем.
Haiku эту проблему заметила, но не учла в достаточной степени при выборе страниц для доработки. Из-за этого некоторые рекомендации выглядят спорными, а расчёты возможного прироста CTR — слишком оптимистичными.
То есть данные модель обработала, закономерности нашла, но не всегда правильно объяснила их причины.
Если дать модели больше контекста и заранее обозначить, какие особенности поисковой выдачи учитывать, результат мог бы быть лучше. Но здесь я хотел проверить, сможет ли Haiku самостоятельно разобраться в данных и найти точки роста.
Тест № 5. Поиск актуальных данных в интернете — 8/10
Здесь Claude Haiku справилась заметно лучше. Модель нашла пять недорогих китайских ИИ-моделей для генерации изображений, сравнила стоимость API, рассчитала цену за 1000 картинок и разобрала особенности тарифов.
Задание осложнялось тем, что не все разработчики предоставляют прямой доступ к API. Иногда приходится искать сторонних провайдеров, у которых цены могут сильно отличаться от официальных.
Без пропусков всё же не обошлось. В первоначальный рейтинг не попали Kolors и GLM-Image. После моего замечания Haiku проверила GLM-Image, признала ошибку и обновила таблицу. Официальную стоимость она уточнила: $0,015 за изображение.
А вот цену Kolors в $0,0011 за картинку подтвердить не смогла и не стала добавлять модель в рейтинг без надёжного источника. В данном случае это скорее плюс: лучше прямо сказать, что цена не подтверждена, чем выдать сомнительные данные за проверенные.
Поиск получился достаточно подробным, сравнение цен — полезным. Первоначальный список оказался неполным, но модель смогла исправить часть ошибок и не стала придумывать недостающие сведения. Поэтому здесь твёрдая восьмёрка.
Итого
Claude Haiku 5.5 набрала 26 из 50 баллов (5,2 средняя).
С текстами модель справилась слабо. Пост для Telegram получился неестественным, редактура — поверхностной, а объяснение классики через персонажей DC свелось к обычному пересказу.
С анализом данных и поиском информации дела обстоят лучше. Haiku умеет работать с цифрами, сравнивать показатели и находить актуальные сведения. Но для хорошего результата ей нужно подробное ТЗ с чёткими критериями и контекстом. Без этого модель может упустить важные детали и сделать неверные выводы.
Больше тестов: Кто лучше пишет текст — DeepSeek или ChatGPT
