Moondream выпустила Photon 1.3.0 и сделала локальный запуск ИИ-моделей через Photon полностью бесплатным. В этом же релизе компания ускорила Moondream на Windows, Mac и NVIDIA GPU.
Для обычного локального запуска API-ключ больше не нужен. Он всё ещё понадобится для finetuned-моделей и телеметрии инференса, чтобы связать активность с аккаунтом. По данным Moondream, эти сценарии тоже остаются бесплатными. Подробнее в материале Postium.
Читайте также: 25 лучших нейросетей для генерации изображений
Что изменилось в Photon 1.3.0
Photon — это движок для локального запуска ИИ-моделей Moondream для работы с изображениями. С версии 1.3.0 разработчик может установить пакет, скачать модель и отправлять запросы локально без MOONDREAM_API_KEY, если не использует finetuned-модель и не включает телеметрию.
Обновление также ускоряет инференс на всех поддерживаемых платформах: Windows, Mac и NVIDIA GPU. Самые заметные улучшения, по данным Moondream, заметны на старых NVIDIA-картах.
На A100 пропускная способность в стандартных запросах выросла примерно на 25–44%, а в задачах с пошаговым рассуждением — до 70%. Задержка ответов снизилась примерно на 30%. На A10 прирост составляет около 30–45%, а Jetson Thor стал до 50% быстрее при малых batch size.
На Apple Silicon ускорилось декодирование, поэтому локальная разработка на Mac должна работать быстрее.
Moondream также улучшила запуск finetuned-моделей в Lens — сервисе для настройки Moondream под конкретные задачи. Большой finetune, который раньше добавлял около 140 мс к запросу, теперь добавляет меньше 1 мс.
Finetuned-модели теперь поддерживаются на Apple Silicon и Windows, помимо NVIDIA. Раньше Windows и Mac не могли запускать такие модели.
В релизе исправили и проблему с точностью на некоторых старых GPU, включая A100, A10 и RTX 3090. Ошибка была связана с округлением при подготовке данных для модели: значения немного занижались. На новых GPU, по словам Moondream, проблема не проявлялась.
Как пользоваться
Чтобы установить пакет, выполните pip install moondream. Документация доступна на docs.moondream.ai.
После установки Photon можно запускать локально без API-ключа, если не используются finetuned-модели и не нужна телеметрия инференса.
Почему это важно? Раньше локальный запуск Moondream через Photon требовал API-ключ, а finetuned-модели были доступны не на всех платформах. Теперь разработчики могут проще тестировать Moondream локально, запускать модель на edge-устройствах или on-prem и получать больше запросов с того же железа.
Итог: Photon 1.3.0 убирает обязательный API-ключ для локального запуска Moondream, ускоряет инференс и расширяет поддержку finetuned-моделей на Mac и Windows.
