Пхи модел вештачке интелигенције од Microsoft - мали, јефтин и не пати од "халуцинација". Тако кажу о новом језичком моделу коме се предвиђа велика будућност.
ГПТ је апсолутно одличан, али у исто време је страшно скуп и не може бити савршен за све. Из ових и многих других разлога Microsoft експериментише са много мањим АИ моделима. За Пхи-3-мини се каже да чак осрамоти рад ОпенАИ инжењера.
Такође занимљиво: Транзистори будућности: Очекује нас нова ера чипова
ЦхатГПТ није панацеја
ЦхатГПТ је проналазак који се финансира, курира и побољшава Microsoft. У ствари, не припада Microsoft, и компанија ОпенАИ, која Microsoft не поседује (она је водећи, мада не и највећи инвеститор). ГПТ језички модел је дао Microsoft огромну предност у односу на остале велике технолошке корпорације које сада журе да сустигну. Међутим, постоји велики број проблема са ГПТ-ом, од којих се многи још не могу решити.
Пре свега, ово је веома интензиван језички модел. Веб ориентед Microsoft ОпенАИ Цопилот или ЦхатГПТ генерише веома високе оперативне трошкове за Microsoft. Ово је карактеристика не само ГПТ-а, већ и свих главних језичких модела. Поред тога, ГПТ је, као и његови конкуренти, склон „халуцинацијама“, односно може да генерише одговоре на упите који садрже лажне или обмањујуће информације. Што више података такав модел апсорбује, то више има тенденцију да генерише сличан садржај. Дакле, халуцинације и лажне изјаве нису мит исисан из дигиталног прста. Корисници често примећују да велики језички модели често греше, дају нетачне податке и раде на непостојећим чињеницама.
Оба проблема су веома озбиљна, због чега ОпенАИ, Microsoft, Мета, Гугл и други раде на развоју не само технологије великог језичког модела, већ и модела малог језика, који у пракси може дати много боље резултате.
Помоћник дигиталног рачуновође не мора много да зна о квантној физици. Може бити много мањи и мање сложен (а самим тим и јефтинији), а обучавањем само на подацима неопходним за његову намену, теоретски би требало мање да халуцинира. Мада, ово је лакше рећи него учинити. ГенАИ технологија је још увек дивљи ИТ подухват. И иако посао напредује невиђеним темпом, још увек је тешко направити искорак у фундаменталним питањима. Али компанија Microsoft недавно је најавио такав продор. Говоримо о малом језичком моделу Microsoft Пхи.
Такође занимљиво: Како се Тајван, Кина и САД боре за технолошку доминацију: велики рат чипова
О чему се зна Microsoft Пхи
Пре свега, треба напоменути да је експеримент спроведен без учешћа компаније ОпенАИ. Односно, то је развој инжењера Microsoft.
Модели Microsoft Пхи је серија малих језичких модела (СЛМ) који постижу изузетне резултате у разним тестовима. Први модел, Пхи-1, имао је 1,3 милијарде параметара и постигао је најбоље резултате кодирања Питхон-а међу постојећим СЛМ-овима.
Програмери су се затим фокусирали на разумевање језика и размишљање, креирајући модел Пхи-1.5, који је такође имао 1,3 милијарде параметара и показао перформансе упоредиве са моделима са пет пута већим параметрима.
Пхи-2 је модел са 2,7 милијарди параметара који демонстрира изванредне способности закључивања и разумевања језика, перформансе на нивоу најбољих основних модела са 13 милијарди параметара. Пхи-2 се издваја од осталих модела због својих иновација у скалирању модела и обуци за курирање података.
Доступан је у каталогу модела Азуре АИ Студио, који олакшава истраживање и развој у области језичких модела. Пхи-2 је лансиран у децембру 2023. Програмери уверавају да ради једнако добро као Мистрал или лама 2 из Мете. А Пхи-3 ради још боље од претходне верзије.
Међутим, модел Пхи-3 који је управо најављен је потпуно нов по квалитету. Барем тако можете да процените из датих информација Microsoft. Према наводима компаније, према показатељима свих познатих мерила, Пхи-3 ради боље од било ког другог модела сличне величине, укључујући анализу језика, рад на програмирању или математички рад.
Фи-3-мини, најмања верзија овог модела, управо је постала доступна свим заинтересованима. Односно, доступан је од 23. априла. Пхи-3-мини има 3,8 милијарди параметара и, према мерењима Microsoft, двоструко ефикаснији од било ког другог модела исте величине. Може се наћи у каталогу АИ модела клауд сервиса Microsoft Азуре, платформа модела машинског учења Хуггинг Фаце, и Оллама, оквир за покретање модела на локалном рачунару.
Како он тврди Microsoft, Пхи-3-мини не захтева моћне чипове Nvidia. Модел може да ради на обичним компјутерским чиповима. Или стане чак и на телефон који није повезан на Интернет.
Мања снага такође значи да модели неће бити тако прецизни. Пхи-3 неће бити погодан за лекаре или пореске рачуновође, али ће помоћи у једноставнијим задацима. На пример, за циљано оглашавање или сумирање рецензија на Интернету.
Пошто мањи модели захтевају мање обраде, приватним компанијама ће бити јефтинији за коришћење. То јест, у Microsoft биће више купаца који би желели да укључе вештачку интелигенцију у свој рад, али сматрају да је то прескупо. Међутим, још није јасно колико ће коштати.
Још није познато када ће се појавити мали и средњи модели. Али ово друго ће бити моћније и скупље. Иако је већ познато да ће Пхи-3-мали имати 7 милијарди параметара, а Пхи-3-средњи чак 14 милијарди параметара.
Прочитајте такође:
Како користити Пхи-3-мини?
ГПТ-4 Турбо захтева моћне АИ чипове, који су и даље веома скупи. Пхи-3 мали говорни модел може да ради ван мреже, без облака, чак и са чипом на мобилном телефону.
Пхи-3 није производ за крајње кориснике, већ технологија коју ће програмери моћи да користе и имплементирају у своје апликације – како у облаку, односно удаљеним, тако и онима које раде локално и ван мреже. Очекује се да ће беспрекорно радити са уређајима и њиховим компонентама, као што су мобилни телефони, аутомобили и њихови инфотаинмент системи, или чак ИоТ сензори. У неким сценаријима, ова технологија може бити од непроцењиве вредности.
Microsoft чак даје и конкретан пример да не бисмо морали да напрежемо своју машту. Замислите фармера који прегледа своје усеве и види знаке болести на лишћу, стабљикама и гранама. Будући да је далеко од телекомуникационих стубова, мораће само да извади телефон, услика оштећење, стави га у апликацију која користи Пхи-3 технологију – а модел ће брзо и ван мреже анализирати фотографију и дати савет како се тачно борити против ове болести.
Како објашњава Microsoft, кључ успеха ГПТ-а је био да користи огромне количине података за обуку. Са тако великим скуповима података, висок квалитет података не долази у обзир. У међувремену, приликом обуке Пхи модела, коришћен је потпуно супротан ОпенАИ приступ. Уместо натрпавања модела информацијама, фокус је био на постепеном и темељном учењу.
Уместо да користе сирове интернет податке, истраживачи Microsoft креирао скуп података ТиниСториес, генеришући милионе минијатурних прича о „беби“. Ове приче су коришћене за обуку веома малих језичких модела. Истраживачи су затим отишли даље стварајући скуп података ЦодеТектбоок, који је користио пажљиво одабране, јавно доступне податке који су филтрирани према образовној вредности и квалитету садржаја. Ови подаци су затим филтрирани неколико пута и враћени у велики језички модел (ЛЛМ) за даљу синтезу.
Све ово је омогућило стварање низа података довољних за обуку способнијег СЛМ. Поред тога, у развоју Пхи-3 модела коришћен је вишестепени приступ управљању и ублажавању ризика, укључујући процену, тестирање и ручна прилагођавања. Као резултат, како тврди Microsoft, програмери који користе породицу модела Пхи-3 могу да искористе предности скупа алата који је доступан у Азуре АИ да би направили сигурније и поузданије апликације.
Прочитајте такође: Телепортација са научне тачке гледишта и њена будућност
Microsoft Хоће ли Пхи заменити моделе типа ЦхатГПТ?
Нимало. Мали језички модели (СЛМ), чак и када су обучени на висококвалитетним подацима, имају своја ограничења и нису дизајнирани за дубоко учење. Модели великих језика (ЛЛМ) надмашују СЛМ у сложеном резоновању због своје величине и рачунарске моћи. ЛЛМ су, и наставиће да буду, посебно корисни у областима као што је откривање лекова, где се мора претраживати кроз огромне колекције научних радова и анализирати сложене обрасце. С друге стране, СЛМ се може користити за једноставније задатке, као што је сумирање главних тачака дугог текстуалног документа, креирање садржаја или покретање чет робота за корисничку подршку.
Microsoft, рекла је она, већ интерно користи скупове хибридних модела, где ЛЛМ преузима водећу улогу, усмеравајући одређене упите који захтевају мање рачунарске снаге на СЛМ док сам обрађује друге, сложеније упите. Пхи је позициониран за рачунарство на уређајима, без коришћења облака. Међутим, и даље ће постојати јаз између малих језичких модела и нивоа интелигенције који се може добити са великим моделима у облаку. Овај јаз, захваљујући континуираном развоју ЛЛМ, вероватно неће ускоро нестати.
Фи-3 тек треба да буде верификован од стране спољних независних страна. Microsoft понекад говори о 25 пута већој ефикасности или енергетској ефикасности у екстремним случајевима, у поређењу са конкурентима, што звучи прилично фантастично. Мада, с друге стране, не може се заборавити да су ове године прошле Microsoft мало нас је одвикнуо од чињенице да је јасан лидер у ИТ иновацијама и можда зато баш и не верујемо у то. Програми засновани на вештачкој интелигенцији који реагују тренутно и раде ван мреже уместо да се генеришу? Ово би био достојан врхунац садашње револуције. Нажалост, постоји један кључни проблем.
Прочитајте такође: Све о Неуралинк Телепатхи чипу: шта је то и како функционише
Фи-3 из Microsoft разуме само енглески
Пхи-3 није масовно прогутао петабајте који су му бачени. Пажљиво и скрупулозно обучавање модела укључује један мањи проблем. Пхи-3 је обучен са информацијама на енглеском и још нема појма о било ком другом језику. Не само украјински, већ и немачки, шпански, француски или кинески. Наравно, ово у великој мери смањује његову привлачност за већину корисника широм света.
Али у Microsoft уверио да је у току рад на његовом развоју и унапређењу. Иако се не треба заваравати чињеницом да је украјинско тржиште приоритет за било коју од великих корпорација. Због тога ћемо морати још дуго да чекамо на подршку украјинском језику. Али ова чињеница никада није зауставила ентузијасте и оне који желе да иду у корак са напретком.
Прочитајте такође: