GAYA

01Задача

По одному фото понять, из чего состоит букет: какие цветы и сколько их, какого они цвета, какая упаковка, лента и тара. Быстро, дёшево и без отправки фотографий в чужие облака.

02Как устроена модель

GAYA — не одна большая сеть, а несколько маленьких специализированных моделей в одной цепочке. Детектор на U-Net находит каждую головку, включая частично скрытые, и её контур. Затем собственная модель зрения — «глаз» — за один проход получает признаки всего фото и каждой головки, 47 голов задач описывают букет, отдельно определяется вид каждой головки и считаются стебли. На выходе — строгий JSON с уверенностями: виды и сорта, число головок и стеблей, цвет, упаковка, лента, тара, форма, повод и стиль. Каждый этап разобран на странице архитектуры.

Модель различает 101 вид и 72 сорта — не просто «роза», а конкретный сорт. Кроме классификаторов она сверяется с банком образцов, а стебли считает бустинг на чистом NumPy, без тяжёлых зависимостей.

03Большие модели — только учителя

Данные для обучения размечали большие модели: SAM 3 от Meta выделял маски головок и упаковку, Qwen3-VL описывал состав. «Глаз» — маленький ViT-S, дистиллированный из SigLIP 2 от Google, который я дообучил на букетах. Ни один учитель в итоговую модель не входит: каждый весит от 3 до 17 ГБ, а вся GAYA — 268 МБ. Фото для обучения — открытые, со свободными лицензиями (Wikimedia Commons, iNaturalist, Open Images), плюс собственная разметка. Ответы сервера сверяются с эталоном на контрольных фото, поэтому обновление весов ничего незаметно не ломает.

04Результат

Модель работает в продакшене на отдельном сервере без видеокарты: около 0,5 с на фото на процессоре ноутбука и около 2 с на 6-ядерном VPS с 2 ГБ памяти. По сравнению с предыдущей версией время на процессоре сократилось с 1,5 до 0,5 с, а память — с 4,2 до 2 ГБ. Проверьте на своём фото или посмотрите сравнение с облачными LLM, YOLO и CLIP.

Фото на обложке — [Maja Dumat](https://commons.wikimedia.org/wiki/File:Blumenstrau%C3%9F_-_Flickr_-_blumenbiene.jpg), CC BY 2.0; разметка — ответ GAYA.