GAYA

01Խնդիրը

Մեկ լուսանկարով հասկանալ, թե ինչից է բաղկացած ծաղկեփունջը՝ ինչ ծաղիկներ և քանիսը, ինչ գույնի են, ինչ փաթեթավորում, ժապավեն և տարա ունի։ Արագ, էժան և առանց լուսանկարներն ուրիշի ամպ ուղարկելու։

02Ինչպես է աշխատում մոդելը

GAYA-ն ոչ թե մեկ մեծ ցանց է, այլ մի քանի փոքր մասնագիտացված մոդել մեկ շղթայում։ U-Net դետեկտորը գտնում է յուրաքանչյուր գլխիկը, նաև մասամբ թաքնվածները, և դրա եզրագիծը։ Այնուհետև սեփական տեսողության մոդելը՝ «աչքը», մեկ անցումով ստանում է ամբողջ լուսանկարի և յուրաքանչյուր գլխիկի հատկանիշները, 47 առաջադրանքի գլուխ նկարագրում են ծաղկեփունջը, յուրաքանչյուր գլխիկի տեսակը որոշվում է առանձին, և հաշվվում են ցողունները։ Ելքում ստացվում է խիստ JSON՝ վստահության աստիճաններով․ տեսակներ և սորտեր, գլխիկների և ցողունների քանակ, գույն, փաթեթավորում, ժապավեն, տարա, ձև, առիթ և ոճ։ Յուրաքանչյուր փուլ բացատրված է ճարտարապետության էջում։

Մոդելը տարբերում է 101 տեսակ և 72 սորտ՝ ոչ թե պարզապես «վարդ», այլ կոնկրետ սորտ։ Դասակարգիչներից բացի այն համեմատում է նմուշների բանկի հետ, իսկ ցողունները հաշվում է մաքուր NumPy-ով գրված բուստինգը՝ առանց ծանր կախվածությունների։

03Մեծ մոդելները միայն ուսուցիչներ են

Ուսուցման տվյալները նշագրել են մեծ մոդելները․ Meta-ի SAM 3-ը առանձնացրել է գլխիկների դիմակները և փաթեթավորումը, Qwen3-VL-ը նկարագրել է կազմը։ «Աչքը» փոքր ViT-S է՝ դիստիլացված Google-ի SigLIP 2-ից, որը ես լրացուցիչ ուսուցանել եմ ծաղկեփնջերի վրա։ Ոչ մի ուսուցիչ վերջնական մոդելի մեջ չի մտնում․ նրանցից յուրաքանչյուրը կշռում է 3-ից 17 ԳԲ, իսկ ամբողջ GAYA-ն՝ 268 ՄԲ։ Ուսուցման լուսանկարները բաց են՝ ազատ արտոնագրերով (Wikimedia Commons, iNaturalist, Open Images), գումարած սեփական նշագրումը։ Սերվերի պատասխանները ստուգվում են վերահսկիչ լուսանկարների էտալոնով, ուստի կշիռների թարմացումը ոչինչ աննկատ չի փչացնում։

04Արդյունքը

Մոդելն աշխատում է արտադրական միջավայրում՝ առանձին սերվերի վրա, առանց վիդեոքարտի․ մոտ 0,5 վ մեկ լուսանկարի համար նոութբուքի պրոցեսորով և մոտ 2 վ 6 միջուկանի VPS-ում՝ 2 ԳԲ հիշողությամբ։ Նախորդ տարբերակի համեմատ պրոցեսորի վրա ժամանակը կրճատվել է 1,5-ից 0,5 վ, հիշողությունը՝ 4,2-ից 2 ԳԲ։ Փորձեք ձեր լուսանկարով կամ տեսեք համեմատությունը ամպային LLM-ների, YOLO-ի և CLIP-ի հետ։

Շապիկի լուսանկարը՝ [Maja Dumat](https://commons.wikimedia.org/wiki/File:Blumenstrau%C3%9F_-_Flickr_-_blumenbiene.jpg), CC BY 2.0, նշագրումը՝ GAYA-ի պատասխանը։