Моделҳои бунёдӣ дар зеҳни сунъии тавлидӣ кадомҳоянд?

Моделҳои бунёдӣ дар зеҳни сунъии тавлидӣ кадомҳоянд?

Ҷавоби кӯтоҳ: Моделҳои бунёдӣ моделҳои калон ва умумии зеҳни сунъӣ мебошанд, ки дар маҷмӯи додаҳои васеъ ва васеъ омӯзонида шудаанд ва сипас тавассути дархост, танзими дақиқ, абзорҳо ё ҷустуҷӯ ба бисёр корҳо (навиштан, ҷустуҷӯ, рамзгузорӣ, тасвирҳо) мутобиқ карда шудаанд. Агар ба шумо ҷавобҳои боэътимод лозим бошанд, онҳоро бо заминсозӣ (ба монанди RAG), маҳдудиятҳои равшан ва санҷишҳо ҷуфт кунед, ба ҷои он ки ба онҳо имкон диҳед, ки импровизатсия кунанд.

Хулосаҳои асосӣ:

Таъриф : Як модели асосие, ки ба таври васеъ омӯзонида шудааст, дар бисёр вазифаҳо дубора истифода мешавад, на барои як вазифа барои як модел.

Мутобиқшавӣ : Барои идора кардани рафтор аз роҳнамоӣ, танзими дақиқ, LoRA/адаптерҳо, RAG ва абзорҳо истифода баред.

Мутобиқати тавлидӣ : Онҳо матн, тасвир, аудио, рамз ва тавлиди мундариҷаи мултимодалиро тақвият медиҳанд.

Сигналҳои сифат : Ба идорашавандагӣ, камтар галлютсинатсияҳо, қобилияти бисёрмодалӣ ва хулосабарории самаранок афзалият диҳед.

Назорати хатарҳо : Нақша барои галлютсинатсияҳо, таассуб, ихроҷи махфият ва тазриқи фаврӣ тавассути идоракунӣ ва санҷиш.

Моделҳои бунёдӣ дар зеҳни сунъии тавлидӣ кадомҳоянд? Инфографика

Мақолаҳое, ки шумо метавонед баъд аз ин хонед, инҳоянд:

🔗 Ширкати зеҳни сунъӣ чист?
Фаҳмед, ки чӣ гуна ширкатҳои зеҳни сунъӣ маҳсулот, дастаҳо ва моделҳои даромадро эҷод мекунанд.

🔗 Коди AI чӣ гуна ба назар мерасад
Намунаҳои рамзи зеҳни сунъӣ, аз моделҳои Python то API-ҳоро бубинед.

🔗 Алгоритми зеҳни сунъӣ чист?
Бифаҳмед, ки алгоритмҳои зеҳни сунъӣ чистанд ва чӣ гуна онҳо қарор қабул мекунанд.

🔗 Технологияи зеҳни сунъӣ чист?
Технологияҳои асосии зеҳни сунъиро, ки автоматизатсия, таҳлил ва барномаҳои интеллектуалиро тақвият медиҳанд, омӯзед.

1) Моделҳои таҳкурсӣ - таърифи бе туман 🧠

Модели бунёдӣ як модели калон ва умумии зеҳни сунъӣ аст, ки бар асоси маълумоти васеъ (одатан тоннаҳо) омӯзонида шудааст, аз ин рӯ онро метавон ба бисёр вазифаҳо мутобиқ кард, на танҳо ба як вазифа ( NIST , Stanford CRFM ).

Ба ҷои сохтани модели алоҳида барои:

  • навиштани почтаи электронӣ

  • саволҳоро ҷавоб додан

  • хулосаи PDF-ҳо

  • тавлиди тасвирҳо

  • таснифоти чиптаҳои дастгирӣ

  • тарҷумаи забонҳо

  • пешниҳодҳои рамзӣ пешниҳод мекунанд

...шумо як модели бузурги асосиро, ки ҷаҳонро бо роҳи норавшани оморӣ «меомӯзад», омӯзонида, сипас онро бо истифода аз дастурҳо, танзими дақиқ ё абзорҳои иловагӣ ба корҳои мушаххас мутобиқ мекунед Боммасани ва дигарон, 2021 ).

Ба ибораи дигар: ин муҳаррики умумиест, ки шумо метавонед онро идора кунед.

Ва бале, калимаи калидӣ "умумӣ" аст. Ин тамоми ҳила аст.

2) Моделҳои бунёдӣ дар зеҳни сунъии тавлидӣ кадомҳоянд? (Чӣ гуна онҳо ба таври мушаххас мувофиқанд) 🎨📝

Пас, моделҳои бунёдӣ дар зеҳни сунъии тавлидӣ кадомҳоянд? Онҳо моделҳои асосие мебошанд, ки системаҳоеро тақвият медиҳанд, ки метавонанд мундариҷаи нав - матн, тасвирҳо, аудио, рамз, видео ва омехтаҳои рӯзафзуни ҳамаи инҳоро тавлид кунанд NIST , Профили зеҳни сунъии тавлидии NIST ).

Забони тавлидкунандаи зеҳнӣ танҳо дар бораи пешгӯии тамғакоғазҳо ба монанди "спам / на спам" нест. Он дар бораи истеҳсоли натиҷаҳое аст, ки гӯё онҳоро шахс сохта бошад.

  • параграфҳо

  • шеърҳо

  • тавсифи маҳсулот

  • тасвирҳо

  • оҳангҳо

  • прототипҳои барнома

  • овозҳои синтетикӣ

  • ва баъзан бемаъниҳои бениҳоят боварибахш 🙃

Моделҳои бунёдӣ махсусан хубанд, зеро:

Онҳо "қабати асосӣ" ҳастанд - ба монанди хамири нон. Шумо метавонед аз он ба багет, питса ё нонҳои дорчинӣ пухта кунед... ин истиораи комил нест, аммо шумо маро мефаҳмед 😄

3) Чаро онҳо ҳама чизро тағйир доданд (ва чаро одамон дар бораи онҳо гап заданро бас намекунанд) 🚀

Пеш аз бунёди моделҳо, бисёре аз зеҳни сунъӣ ба вазифаҳо хос буданд:

  • Омӯзонидани модел барои таҳлили эҳсосот

  • дигареро барои тарҷума омӯзонед

  • дигареро барои таснифи тасвирҳо омӯзонед

  • дигареро барои шинохти шахси номбаршуда омӯзонед

Ин кор кард, аммо он суст, гарон ва каме... шикананда буд.

Моделҳои бунёдӣ онро иваз карданд:

  • як маротиба пешакӣ машқ кунед (саъю кӯшиши зиёд)

  • дар ҳама ҷо дубора истифода баред (даромади калон) ( Bommasani et al., 2021 )

Ин истифодаи такрорӣ зарбкунанда аст. Ширкатҳо метавонанд 20 хусусиятро дар болои як оилаи моделҳо созанд, ба ҷои он ки чархро 20 маротиба аз нав ихтироъ кунанд.

Инчунин, таҷрибаи корбар табиӣтар шуд:

  • шумо "аз таснифгар истифода намебаред"

  • Шумо бо модел гӯё ҳамкори муфиде ҳастед, ки ҳеҷ гоҳ намехобад ☕🤝

Баъзан ин ба ҳамкоре монанд аст, ки бо боварӣ ҳама чизро нодуруст мефаҳмад, аммо, эй. Рушд.

4) Идеяи асосӣ: пеш аз омӯзиш + мутобиқшавӣ 🧩

Қариб ҳамаи моделҳои бунёдӣ як намунаро риоя мекунанд ( Стэнфорд CRFM , NIST ):

Пешомӯзӣ (марҳилаи "азхудкунии интернет") 📚

Ин модел дар асоси маҷмӯаҳои додаҳои бузург ва васеъ бо истифода аз омӯзиши худназоратӣ ( NIST ) омӯзонида мешавад. Барои моделҳои забонӣ, ин одатан маънои пешгӯии калимаҳои гумшуда ё аломати навбатӣ дорад ( Девлин ва дигарон, 2018 , Браун ва дигарон, 2020 ).

Мақсад дар он нест, ки ба он як вазифаро омӯзонем. Мақсад дар он аст, ки ба он намояндагиҳои умумиро :

  • грамматика

  • далелҳо (навъе)

  • шаклҳои тафаккур (баъзан)

  • сабкҳои навиштан

  • сохтори рамз

  • нияти умумии инсонӣ

Мутобиқшавӣ (марҳилаи "амалӣ гардонидани он") 🛠️

Сипас, шумо онро бо истифода аз яке ё якчандтои онҳо мутобиқ мекунед:

  • роҳнамоӣ (дастурҳо бо забони оддӣ)

  • танзими дастурҳо (омӯзонидани он барои риояи дастурҳо) ( Вей ва дигарон, 2021 )

  • танзими дақиқ (омӯзиш оид ба маълумоти домени шумо)

  • Адаптерҳои LoRA / (усулҳои танзими сабук) ( Ҳу ва дигарон, 2021 )

  • RAG (насл бо афзоиши бозёфт - модел ба ҳуҷҷатҳои шумо муроҷиат мекунад) ( Льюис ва дигарон, 2020 )

  • истифодаи абзорҳо (занг задани функсияҳо, дидани системаҳои дохилӣ ва ғайра)

Аз ин рӯ, ҳамон модели асосӣ метавонад саҳнаи ошиқона нависад... сипас панҷ сония пас дар ислоҳи дархости SQL кӯмак кунад 😭

5) Чӣ версияи хуби модели бунёдиро ташкил медиҳад? ✅

Ин қисматест, ки одамон онро сарфи назар мекунанд ва баъдтар пушаймон мешаванд.

Модели "хуб"-и таҳкурсӣ на танҳо "калонтар" аст. Албатта, калонтар кӯмак мекунад... аммо ин ягона чиз нест. Нусхаи хуби модели таҳкурсӣ одатан дорои инҳост:

Умумикунонии қавӣ 🧠

Он дар бисёр вазифаҳо бидуни ниёз ба бозомӯзии мушаххаси вазифа хуб кор мекунад ( Боммасани ва дигарон, 2021 ).

Руль ва қобили идоракунӣ 🎛️

Он метавонад дастурҳоро боэътимод иҷро кунад, ба монанди:

  • «кӯтоҳ бошед»

  • «Нуқтаҳои тирпаррониро истифода баред»

  • «Бо оҳанги дӯстона нависед»

  • «Маълумоти махфиро ифшо накунед»

Баъзе моделҳо зебо, вале лағжандаанд. Мисли он ки кӯшиш кунед, ки як пора собунро дар душ нигоҳ доред. Муфид, аммо номунтазам 😅

Майли пасти галлютсинатсия (ё ҳадди аққал номуайянии ошкоро) 🧯

Ҳеҷ моделе аз галлюцинатсия эмин нест, аммо моделҳои хуб:

Қобилияти хуби бисёрмодалӣ (дар ҳолати зарурӣ) 🖼️🎧

Агар шумо ёваронеро месозед, ки тасвирҳоро мехонанд, диаграммаҳоро тафсир мекунанд ё аудиоро мефаҳманд, мултимодалӣ хеле муҳим аст ( Radford et al., 2021 ).

Хулосаи самаранок⚡

Таъхир ва арзиш муҳиманд. Моделе, ки қавӣ, вале суст аст, ба мошини варзишӣ бо чархи шикаста монанд аст.

Бехатарӣ ва рафтори ҳамоҳангсозӣ 🧩

На танҳо «аз ҳама чиз даст кашидан», балки:

  • аз дастурҳои зараровар худдорӣ кунед

  • кам кардани таассуб

  • бо эҳтиёт ба мавзӯъҳои ҳассос муносибат кунед

  • муқовимат ба кӯшишҳои оддии ҷайлбрейк (то андозае…) ( NIST AI RMF 1.0 , Профили тавлидкунандаи AI NIST )

Ҳуҷҷатгузорӣ + экосистема 🌱

Ин хушк ба назар мерасад, аммо ин воқеият аст:

  • асбобсозӣ

  • лавозимоти арзёбӣ

  • имконоти ҷойгиркунӣ

  • назорати корхонаҳо

  • дастгирии танзими дақиқ

Бале, «экосистема» калимаи норавшан аст. Ман низ аз он нафрат дорам. Аммо ин муҳим аст.

6) Ҷадвали муқоисавӣ - имконоти маъмулии модели таҳкурсӣ (ва барои чӣ онҳо хубанд) 🧾

Дар зер ҷадвали муқоисавии амалӣ ва каме нокомил оварда шудааст. Ин "рӯйхати ягонаи воқеӣ" нест, балки бештар ба он чизе монанд аст, ки одамон дар табиат интихоб мекунанд.

асбоб/навъи модел шунавандагон гаронбаҳо чаро он кор мекунад
LLM-и хусусӣ (ба услуби чат) дастаҳо суръат ва сайқалро мехоҳанд истифодабарӣ / обуна Пайгирии дастурҳои аъло, иҷрои хуби умумӣ, одатан беҳтарин "тавре ки интизор нарафтаед" 😌
LLM-и вазни кушода (худмизбон) сохтмончиёне, ки мехоҳанд назорат кунанд хароҷоти инфрасохторӣ (ва дарди сар) Танзимшаванда, барои махфият мувофиқ, метавонад дар маҳал кор кунад... агар ба шумо шабнишинӣ маъқул бошад
Генератори тасвири паҳншавӣ эҷодкорон, гурӯҳҳои тарроҳӣ ройгон то пулакӣ Синтези аълои тасвирҳо, гуногунии услубҳо, ҷараёнҳои кории такрорӣ (инчунин: ангуштон метавонанд хомӯш бошанд) ✋😬 ( Ho et al., 2020 , Rombach et al., 2021 )
Модели бисёрмодалии «забони биноӣ» барномаҳое, ки тасвирҳо + матнро мехонанд ба истифода асос ёфтааст Ба шумо имкон медиҳад, ки дар бораи тасвирҳо, скриншотҳо, диаграммаҳо саволҳо диҳед - ба таври ҳайратангез муфид ( Radford et al., 2021 )
Модели таҳкурсии ҷойгиркунӣ Ҷустуҷӯ + системаҳои RAG арзиши пасти як занг Матнро ба векторҳо барои ҷустуҷӯи семантикӣ, кластеризатсия, тавсия табдил медиҳад - энергияи ороми MVP ( Карпухин ва дигарон, 2020 , Дузе ва дигарон, 2024 )
Модели асоси нутқ ба матн марказҳои зангҳо, эҷодкунандагон истифодабарӣ / маҳаллӣ Транскрипсияи зуд, дастгирии бисёрзабона, барои садои пурғавғо (одатан) кофӣ хуб аст 🎙️ ( Пичиррос )
Модели асоси матн ба нутқ гурӯҳҳои маҳсулот, ВАО ба истифода асос ёфтааст Тавлиди табиии овоз, сабкҳои овоз, ривоят - метавонад ба воқеияти даҳшатнок табдил ёбад ( Шен ва дигарон, 2017 )
LLM-и ба код нигаронидашуда таҳиягарон истифодабарӣ / обуна Дар қолибҳои код, ислоҳи хатогиҳо, рефакторҳо беҳтар аст... аммо ҳоло ҳам хонандаи ақл нест 😅

Ба он диққат диҳед, ки чӣ тавр "модели бунёдӣ" на танҳо маънои "чатбот"-ро дорад. Моделҳои ҷойгиркунӣ ва нутқ низ метавонанд ба бунёд монанд бошанд, зеро онҳо васеъ ва дар тамоми вазифаҳо такроран истифодашавандаанд ( Bommasani et al., 2021 , NIST ).

7) Назари наздиктар: чӣ гуна моделҳои бунёди забон меомӯзанд (версияи vibe) 🧠🧃

Моделҳои бунёди забон (ки аксар вақт LLM номида мешаванд) одатан дар маҷмӯаҳои бузурги матн омӯзонида мешаванд. Онҳо бо пешгӯии нишонаҳо меомӯзанд ( Brown et al., 2020 ). Ҳамин тавр. Ҳеҷ гуна чанги пинҳонии парӣ нест.

Аммо ҷодугарӣ дар он аст, ки пешгӯии нишонаҳо моделро маҷбур мекунад, ки сохторро ( CSET ) омӯзад:

  • грамматикӣ ва синтаксис

  • муносибатҳои мавзӯӣ

  • қолибҳои монанд ба мулоҳизакорӣ (баъзан)

  • силсилаҳои маъмулии фикрӣ

  • чӣ гуна одамон чизҳоро шарҳ медиҳанд, баҳс мекунанд, узр мепурсанд, гуфтушунид мекунанд, таълим медиҳанд

Ин мисли омӯхтани тақлид кардани миллионҳо сӯҳбатҳо бе «фаҳмидани» тарзи кори одамон аст. Ки ба назар чунин мерасад, ки ин набояд кор кунад... аммо бо вуҷуди ин, он кор карданро идома медиҳад.

Як изҳороти муболиғаомез: ин асосан мисли фишурдани навиштаҳои инсон ба як мағзи бузурги эҳтимолӣ аст.
Боз ҳам, ин истиора каме лаънатӣ аст. Аммо мо ҳаракат мекунем 😄

8) Назари наздиктар: моделҳои диффузионӣ (чаро тасвирҳо ба таври дигар кор мекунанд) 🎨🌀

Моделҳои асоси тасвир аксар вақт паҳншавӣ ( Ho et al., 2020 , Rombach et al., 2021 ).

Фикри мухтасар:

  1. ба тасвирҳо садо илова кунед, то он даме ки онҳо асосан статикии телевизионӣ бошанд

  2. моделеро омӯзонед, ки ин садоро қадам ба қадам баръакс кунад

  3. дар вақти тавлид, бо садо оғоз кунед ва бо роҳнамоии дастур ба тасвир "садоро кам кунед" ( Ho et al., 2020 )

Аз ин рӯ, тавлиди тасвир ба "таҳияи" акс монанд аст, ба истиснои он ки акс аждаҳоест, ки дар роҳрави супермаркет кроссовка пӯшидааст 🛒🐉

Моделҳои диффузӣ хубанд, зеро:

  • онҳо тасвирҳои баландсифат эҷод мекунанд

  • онҳо метавонанд аз рӯи матн ба таври қатъӣ роҳнамоӣ карда шаванд

  • онҳо такмили такрориро (вариатсияҳо, рангкунӣ, миқёси болоравӣ) дастгирӣ мекунанд ( Ромбах ва дигарон, 2021 )

Онҳо инчунин баъзан бо ин мушкилот рӯбарӯ мешаванд:

  • тасвири матн дар дохили тасвирҳо

  • тафсилоти анатомияи нозук

  • шахсияти доимии қаҳрамонҳо дар тамоми саҳнаҳо (он беҳтар шуда истодааст, аммо бо вуҷуди ин)

9) Назари наздиктар: моделҳои бунёдии мултимодалӣ (матн + тасвирҳо + аудио) 👀🎧📝

Моделҳои бунёдии мултимодалӣ барои фаҳмидан ва тавлиди намудҳои гуногуни маълумот равона шудаанд:

Чаро ин дар ҳаёти воқеӣ муҳим аст:

  • Дастгирии муштариён метавонад скриншотҳоро шарҳ диҳад

  • абзорҳои дастрасӣ метавонанд тасвирҳоро тавсиф кунанд

  • Барномаҳои таълимӣ метавонанд диаграммаҳоро шарҳ диҳанд

  • Эҷодкорон метавонанд форматҳоро зуд ремикс кунанд

  • Воситаҳои тиҷоратӣ метавонанд скриншоти панели идоракуниро "хонанд" ва онро ҷамъбаст кунанд

Дар зери капот, системаҳои мултимодалӣ аксар вақт намояндагиҳоро ҳамоҳанг мекунанд:

  • тасвирро ба ҷойгиркунӣ табдил диҳед

  • матнро ба ҷузвдонҳо табдил диҳед

  • Фазои муштаракеро омӯзед, ки дар он "гурба" бо пикселҳои гурба мувофиқат мекунад 😺 ( Рэдфорд ва дигарон, 2021 )

Он на ҳамеша зебо аст. Баъзан онро мисли кӯрпа дӯхта мекунанд. Аммо ин кор мекунад.

10) Танзими дақиқ vs prompting vs RAG (чӣ гуна шумо модели асосиро мутобиқ мекунед) 🧰

Агар шумо кӯшиш кунед, ки модели бунёдиро барои як соҳаи мушаххас (ҳуқуқӣ, тиббӣ, хидматрасонии муштариён, дониши дохилӣ) амалӣ созед, шумо якчанд фишанг доред:

Фаҳмондадиҳанда 🗣️

Тезтарин ва соддатарин.

  • Тарафҳои мусбат: бе ягон омӯзиш, такрори фаврӣ

  • камбудиҳо: метавонад номувофиқ бошад, маҳдудиятҳои контекстӣ, нозукии фаврӣ

Танзими дақиқ 🎯

Моделро дар асоси мисолҳои худ минбаъд омӯзонед.

  • Тарафҳои мусбат: рафтори устувортар, забони беҳтари домен, метавонад дарозии дархостро кам кунад

  • камбудиҳо: арзиш, талабот ба сифати маълумот, хатари аз ҳад зиёд насб кардан, нигоҳдорӣ

Танзими сабук (LoRA / адаптерҳо) 🧩

Нусхаи самараноктари танзими дақиқ ( Hu et al., 2021 ).

  • Тарафҳои мусбат: арзонтар, модулӣ, иваз кардан осонтар

  • камбудиҳо: ҳоло ҳам ба омӯзиши хаттӣ ва арзёбӣ ниёз дорад

RAG (насли бо такмилёфтаи бозёфт) 🔎

Модел ҳуҷҷатҳои дахлдорро аз пойгоҳи дониши шумо мегирад ва бо истифода аз онҳо посух медиҳад ( Льюис ва дигарон, 2020 ).

  • Тарафҳои мусбат: дониши муосир, иқтибосҳо дар дохили кор (агар шумо онро амалӣ кунед), бозомӯзии камтар

  • нуқсонҳо: сифати барқароркунӣ метавонад онро беҳтар ё бад кунад, ба қисмбандии хуб ва ҷойгиркунӣ ниёз дорад

Сӯҳбати воқеӣ: бисёр системаҳои муваффақ бо истифода аз пешбаранда ва RAG якҷоя мешаванд. Танзими дақиқ пурқувват аст, аммо на ҳамеша зарур аст. Одамон хеле зуд ба он мегузаранд, зеро он таъсирбахш садо медиҳад 😅

11) Хатарҳо, маҳдудиятҳо ва бахши "лутфан, инро кӯр-кӯрона истифода набаред" 🧯😬

Моделҳои бунёдӣ пурқувватанд, аммо онҳо мисли нармафзори анъанавӣ устувор нестанд. Онҳо бештар ба ... коромӯзи боистеъдод бо мушкили эътимод монанданд.

Маҳдудиятҳои асосӣ барои банақшагирӣ:

Галлютсинатсияҳо 🌀

Моделҳо метавонанд ихтироъ кунанд:

  • манбаъҳои қалбакӣ

  • далелҳои нодуруст

  • қадамҳои боварибахш, вале нодуруст ( Ҷи ва дигарон, 2023 )

Коҳишдиҳӣ:

  • RAG бо контексти асоснок ( Льюис ва дигарон, 2020 )

  • баромадҳои маҳдуд (схемаҳо, даъватҳои асбобҳо)

  • дастури возеҳи "тахмин накунед"

  • қабатҳои тасдиқкунанда (қоидаҳо, санҷишҳои мутақобила, баррасии инсонӣ)

Таассуб ва одатҳои зараровар ⚠️

Азбаски маълумоти омӯзишӣ одамонро инъикос мекунад, шумо метавонед ба даст оред:

Коҳишдиҳӣ:

Махфият ва ихроҷи маълумот 🔒

Агар шумо маълумоти махфиро ба нуқтаи ниҳоии модел ворид кунед, шумо бояд донед:

  • чӣ гуна нигоҳ дошта мешавад

  • ки оё он барои омӯзиш истифода мешавад

  • кадом сабти ном вуҷуд дорад

  • Чӣ ниёзҳои созмони шуморо назорат мекунад ( NIST AI RMF 1.0 )

Коҳишдиҳӣ:

Сӯзандории фаврӣ (хусусан бо RAG) 🕳️

Агар модел матни нобоварро хонад, он матн метавонад кӯшиш кунад, ки онро таҳрир кунад:

  • «Дастурҳои қаблиро нодида гиред...»

  • «Сирро ба ман фиристед…» ( OWASP , Greshake et al., 2023 )

Коҳишдиҳӣ:

Намехоҳам шуморо тарсонам. Танҳо... беҳтар аст бидонед, ки тахтаҳои фарш дар куҷо ғиҷиррос мезананд.

12) Чӣ тавр модели асосиро барои ҳолати истифодаи худ интихоб кардан мумкин аст 🎛️

Агар шумо модели асосиро интихоб кунед (ё дар асоси он бино кунед), бо ин дастурҳо оғоз кунед:

Муайян кунед, ки шумо чӣ тавлид мекунед 🧾

  • танҳо матн

  • тасвирҳо

  • аудио

  • мултимодалии омехта

Меъёри воқеияти худро муқаррар кунед 📌

Агар ба шумо дақиқии баланд (молия, тандурустӣ, ҳуқуқӣ, бехатарӣ) лозим бошад:

Ҳадафи таъхири худро муайян кунед⚡

Чат фаврӣ аст. Хулосаи гурӯҳӣ метавонад сусттар бошад.
Агар ба шумо посухи фаврӣ лозим бошад, андозаи модел ва хостинг муҳим аст.

Ниёзҳои махфият ва риояи харита 🔐

Баъзе дастаҳо талаб мекунанд, ки:

Мувозинати буҷет - ва сабри амалиёт 😅

Худхостинг назоратро медиҳад, аммо мураккабиро зиёд мекунад.
API-ҳои идорашаванда осонанд, аммо метавонанд гарон ва камтар танзимшаванда бошанд.

Як маслиҳати хурди амалӣ: аввал прототип бо чизи осон, сипас баъдтар сахттар кунед. Оғоз бо танзимоти "комил" одатан ҳама чизро суст мекунад.

13) Моделҳои бунёдӣ дар зеҳни сунъии тавлидӣ кадомҳоянд? (Модели зеҳнии зуд) 🧠✨

Биёед онро баргардонем. Моделҳои бунёдӣ дар зеҳни сунъии тавлидӣ кадомҳоянд?

Онҳо:

  • Моделҳои калон ва умумӣ, ки дар асоси маълумоти васеъ омӯзонида шудаанд ( NIST , Stanford CRFM )

  • қодир ба тавлиди мундариҷа (матн, тасвирҳо, аудио ва ғайра) ( Профили тавлидкунандаи зеҳни сунъии NIST )

  • тавассути дастурҳо, танзими дақиқ ва ҷустуҷӯ ба бисёр вазифаҳо мутобиқшаванда аст ( Боммасани ва дигарон, 2021 )

  • қабати асосӣ, ки аксари маҳсулоти муосири тавлидкунандаи зеҳни сунъиро таъмин мекунад

Онҳо як меъморӣ ё бренди ягона нестанд. Онҳо як категорияи моделҳое ҳастанд, ки мисли платформа рафтор мекунанд.

Модели асосӣ камтар ба ҳисобкунак ва бештар ба ошхона монанд аст. Шумо метавонед дар он хӯрокҳои зиёде пухта кунед. Агар диққат надиҳед, шумо инчунин метавонед нонҳоро сӯзонед... аммо ошхона ҳоло ҳам хеле қулай аст 🍳🔥

14) Хулоса ва гирифтан ✅🙂

Моделҳои бунёдӣ муҳаррикҳои такроран истифодашавандаи зеҳни сунъии тавлидӣ мебошанд. Онҳо ба таври васеъ омӯзонида мешаванд ва сипас тавассути ҳавасмандкунӣ, танзими дақиқ ва барқароркунӣ ба вазифаҳои мушаххас мутобиқ карда мешаванд ( NIST , Stanford CRFM ). Онҳо метавонанд аҷиб, бетартиб, пурқувват ва гоҳ-гоҳ бемаънӣ бошанд - ҳама якбора.

Хулоса:

  • Модели бунёдӣ = модели асосии мақсади умумӣ ( NIST )

  • Сеҳри тавлидӣ = эҷоди мундариҷа, на танҳо таснифот ( Профили Сеҳри тавлидии NIST )

  • Усулҳои мутобиқшавӣ (prompting, RAG, танзим) онро амалӣ мегардонанд ( Lewis et al., 2020 , Hu et al., 2021 )

  • Интихоби модел ба мувозинат вобаста аст: дақиқӣ, арзиш, таъхир, махфият, амният ( NIST AI RMF 1.0 )

Агар шумо бо истифода аз зеҳни сунъии тавлидӣ чизе месозед, фаҳмидани моделҳои бунёдӣ ихтиёрӣ нест. Ин тамоми фарше аст, ки бино дар он истодааст... ва бале, баъзан фарш каме меларзад 😅

Саволҳои зиёд такрормешуда

Моделҳои бунёдӣ, бо ибораи содда

Модели бунёдӣ як модели бузурги зеҳни сунъии умумӣ аст, ки дар асоси маълумоти васеъ омӯзонида шудааст, то онро барои бисёр вазифаҳо дубора истифода бурдан мумкин аст. Ба ҷои сохтани як модел барои як кор, шумо бо модели қавии "асосӣ" оғоз мекунед ва онро дар ҳолати зарурӣ мутобиқ мекунед. Ин мутобиқшавӣ аксар вақт тавассути ҳавасмандкунӣ, танзими дақиқ, ҷустуҷӯ (RAG) ё асбобҳо сурат мегирад. Идеяи асосӣ паҳноӣ ва идоракунӣ аст.

Чӣ гуна моделҳои бунёдӣ аз моделҳои анъанавии зеҳни сунъӣ, ки ба вазифаҳо хосанд, фарқ мекунанд

Зеҳни сунъии анъанавӣ аксар вақт барои ҳар як вазифа модели алоҳидаро, ба монанди таҳлили эҳсосот ё тарҷума, меомӯзонад. Моделҳои бунёдӣ ин намунаро баръакс мекунанд: як маротиба пешакӣ омӯзонида, сипас дар бисёр хусусиятҳо ва маҳсулот дубора истифода баред. Ин метавонад кӯшишҳои такрориро кам кунад ва расонидани имкониятҳои навро суръат бахшад. Муқоиса дар он аст, ки онҳо метавонанд нисбат ба нармафзори классикӣ камтар пешгӯишаванда бошанд, агар шумо маҳдудиятҳо ва санҷишро илова накунед.

Моделҳои бунёдӣ дар зеҳни сунъии тавлидӣ

Дар зеҳни сунъии тавлидӣ, моделҳои бунёдӣ системаҳои асосӣ мебошанд, ки метавонанд мундариҷаи наверо ба монанди матн, тасвирҳо, аудио, рамз ё натиҷаҳои мултимодалӣ тавлид кунанд. Онҳо танҳо ба нишонгузорӣ ё таснифот маҳдуд намешаванд; онҳо посухҳоеро тавлид мекунанд, ки ба кори инсонӣ монанданд. Азбаски онҳо ҳангоми пеш аз омӯзиш намунаҳои васеъро меомӯзанд, онҳо метавонанд бисёр намудҳо ва форматҳои дархостро идора кунанд. Онҳо "қабати асосӣ"-и аксари таҷрибаҳои тавлидии муосир мебошанд.

Чӣ тавр моделҳои бунёдӣ ҳангоми пеш аз омӯзиш меомӯзанд

Аксари моделҳои бунёди забон тавассути пешгӯии аломатҳо, ба монанди калимаи навбатӣ ё калимаҳои гумшуда дар матн, меомӯзанд. Ин ҳадафи оддӣ онҳоро водор мекунад, ки сохторро ба монанди грамматика, услуб ва намунаҳои маъмулии шарҳ дохил кунанд. Онҳо инчунин метавонанд дониши зиёди ҷаҳонро аз худ кунанд, гарчанде ки на ҳамеша боэътимод. Натиҷа як намояндагии қавии умумӣ аст, ки шумо метавонед баъдтар ба кори мушаххас равона кунед.

Фарқи байни дархосткунӣ, танзими дақиқ, LoRA ва RAG

Пешниҳод роҳи зудтарини идоракунии рафтор бо истифода аз дастурҳо аст, аммо он метавонад нозук бошад. Танзими дақиқ моделро дар мисолҳои шумо барои рафтори мувофиқтар омӯзонад, аммо хароҷот ва нигоҳдориро зиёд мекунад. LoRA/адаптерҳо як равиши сабуктари танзими дақиқ мебошанд, ки аксар вақт арзонтар ва модулӣтаранд. RAG ҳуҷҷатҳои дахлдорро мегирад ва бо истифода аз ин контекст ҷавоби моделро дорад, ки ба тароват ва асосноккунӣ мусоидат мекунад.

Кай бояд ба ҷои танзими дақиқ RAG-ро истифода бурд

RAG аксар вақт интихоби қавӣ аст, вақте ки ба шумо ҷавобҳо дар асоси ҳуҷҷатҳои ҷорӣ ё пойгоҳи дониши дохилии шумо лозиманд. Он метавонад "тахмин"-ро тавассути пешниҳоди контексти мувофиқ дар вақти тавлид коҳиш диҳад. Танзими дақиқ вақте ки ба шумо услуби мувофиқ, ибораҳои доменӣ ё рафторе лозим аст, ки дархосткунӣ наметавонад боэътимод ба вуҷуд орад, беҳтар аст. Бисёре аз системаҳои амалӣ пеш аз расидан ба танзими дақиқ дархосткунӣ + RAG-ро якҷоя мекунанд.

Чӣ тавр галлютсинатсияҳоро кам кардан ва посухҳои боэътимодтар гирифтан мумкин аст

Як равиши маъмул ин аст, ки моделро бо истифода аз ҷустуҷӯ (RAG) асоснок кунед, то он ба контексти додашуда наздик бошад. Шумо инчунин метавонед натиҷаҳоро бо схемаҳо маҳдуд кунед, барои қадамҳои асосӣ даъватҳои асбобро талаб кунед ва дастурҳои возеҳи "тахмин накунед"-ро илова кунед. Қабатҳои тасдиқ низ муҳиманд, ба монанди санҷиши қоидаҳо, санҷиши салибӣ ва баррасии инсонӣ барои ҳолатҳои истифодаи босифат. Ба модел ҳамчун ёвари эҳтимолӣ муносибат кунед, на ҳамчун манбаи ҳақиқат.

Хатарҳои бузургтарин бо моделҳои бунёдӣ дар истеҳсолот

Хатарҳои маъмулӣ иборатанд аз галлютсинатсияҳо, намунаҳои ғаразнок ё зараровар аз маълумоти омӯзишӣ ва ихроҷи махфият, агар маълумоти ҳассос нодуруст коркард шавад. Системаҳо инчунин метавонанд ба воридкунии фаврӣ осебпазир бошанд, хусусан вақте ки модел матни беэътимодро аз ҳуҷҷатҳо ё мундариҷаи веб мехонад. Кам кардани таъсир одатан идоракунӣ, гурӯҳбандии сурх, назорати дастрасӣ, намунаҳои бехатартари дархост ва арзёбии сохторӣ мебошад. Барои ин хатарҳо барвақт ба нақша гиред, на баъдтар ислоҳ кунед.

Сӯзиши фаврӣ ва чаро он дар системаҳои RAG муҳим аст

Тазриқи фаврӣ вақте рух медиҳад, ки матни нобовар кӯшиш мекунад, ки дастурҳоро аз нав дида барояд, ба монанди "дастурҳои қаблиро нодида гирад" ё "сиррро ошкор кунад". Дар RAG, ҳуҷҷатҳои гирифташуда метавонанд ин дастурҳои зарароварро дар бар гиранд ва агар шумо эҳтиёткор набошед, модел метавонад онҳоро риоя кунад. Як равиши маъмулӣ ҷудо кардани дастурҳои система, безараргардонии мундариҷаи гирифташуда ва такя ба сиёсатҳои асосёфта ба асбобҳо ба ҷои танҳо дастурҳо мебошад. Санҷиш бо вурудҳои мухолиф ба ошкор кардани нуқтаҳои заиф кӯмак мекунад.

Чӣ тавр модели асосиро барои истифодаи худ интихоб кардан мумкин аст

Бо муайян кардани он чизе, ки ба шумо лозим аст, оғоз кунед: матн, тасвирҳо, аудио, рамз ё натиҷаҳои мултимодалӣ. Сипас, сатри воқеияти худро муқаррар кунед - доменҳои дақиқии баланд аксар вақт ба заминсозӣ (RAG), тасдиқ ва баъзан баррасии инсонӣ ниёз доранд. Таъхир ва хароҷотро ба назар гиред, зеро интиқоли модели қавӣ, ки суст ё гарон аст, метавонад душвор бошад. Ниҳоят, махфият ва риояи харита ба имконоти ҷойгиркунӣ ва идоракунии он ниёз дорад.

Адабиёт

  1. Институти миллии стандартҳо ва технология (NIST) - Модели бунёдӣ (истилоҳи луғат) - csrc.nist.gov

  2. Институти миллии стандартҳо ва технология (NIST) - NIST AI 600-1: Профили тавлидкунандаи зеҳни сунъӣ - nvlpubs.nist.gov

  3. Институти миллии стандартҳо ва технология (NIST) - NIST AI 100-1: Чаҳорчӯбаи идоракунии хатарҳои AI (AI RMF 1.0) - nvlpubs.nist.gov

  4. Маркази тадқиқоти Стэнфорд оид ба моделҳои бунёдӣ (CRFM) - Гузориш - crfm.stanford.edu

  5. arXiv - Дар бораи имкониятҳо ва хатарҳои моделҳои бунёдӣ (Bommasani et al., 2021) - arxiv.org

  6. arXiv - Моделҳои забонӣ омӯзандагони кам мебошанд (Браун ва дигарон, 2020) - arxiv.org

  7. arXiv - Насли такмилёфтаи бозёфт барои вазифаҳои NLP бо дониши зиёд (Lewis et al., 2020) - arxiv.org

  8. arXiv - LoRA: Мутобиқсозии моделҳои забони калон дар сатҳи паст (Ҳу ва дигарон, 2021) - arxiv.org

  9. arXiv - BERT: Омӯзиши пешакии трансформаторҳои дуҷонибаи амиқ барои фаҳмиши забон (Девлин ва дигарон, 2018) - arxiv.org

  10. arXiv - Моделҳои забонии танзимшуда омӯзандагони бефосила мебошанд (Wei et al., 2021) - arxiv.org

  11. Китобхонаи рақамии ACM - Шарҳи галлютсинатсия дар тавлиди забони табиӣ (Ҷи ва дигарон, 2023) - dl.acm.org

  12. arXiv - Омӯзиши моделҳои визуалии интиқолшаванда аз назорати забони табиӣ (Radford et al., 2021) - arxiv.org

  13. arXiv - Моделҳои эҳтимолии диффузияи садонокро кам кардан (Ho et al., 2020) - arxiv.org

  14. arXiv - Синтези тасвирҳои баландсифат бо моделҳои паҳншавии пинҳонӣ (Rombach et al., 2021) - arxiv.org

  15. arXiv - Ҷустуҷӯи гузарҳои зич барои посух додан ба саволҳо дар домени кушода (Карпухин ва дигарон, 2020) - arxiv.org

  16. arXiv - Китобхонаи Фаис (Douze et al., 2024) - arxiv.org

  17. OpenAI - Муаррифии Whisper - openai.com

  18. arXiv - Синтези табиии TTS бо роҳи кондитсионер кардани WaveNet дар пешгӯиҳои спектрограммаи Mel (Shen et al., 2017) - arxiv.org

  19. Маркази амният ва технологияҳои нав (CSET), Донишгоҳи Ҷорҷтаун - Қудрати ҳайратангези пешгӯии калимаҳои навбатӣ: шарҳи моделҳои забони калон (қисми 1) - cset.georgetown.edu

  20. USENIX - Истихроҷи маълумоти омӯзишӣ аз моделҳои забони калон (Карлини ва дигарон, 2021) - usenix.org

  21. OWASP - LLM01: Тазриқи фаврӣ - genai.owasp.org

  22. arXiv - Бештар аз он чизе ки шумо дархост кардаед: Таҳлили ҳамаҷонибаи таҳдидҳои нави воридкунии фаврӣ ба моделҳои забони калони ҳамгирошудаи барномавӣ (Greshake et al., 2023) - arxiv.org

  23. Силсилаи варақаҳои фиребгарии OWASP - Варақаи фиреби пешгирии тазриқи фаврии LLM - cheatsheetseries.owasp.org

Навтарин зеҳни сунъиро дар мағозаи расмии ёвари зеҳни сунъӣ пайдо кунед

Дар бораи мо

Бозгашт ба блог