Мета платформе на годишњем догађају Мета Цоннецт у Калифорнији представљени неколико нових АИ функција за његове популарне апликације Facebook, Instagram и ВхатсАпп, али најимпресивнија иновација технолошког гиганта је можда прошла непримећено од стране многих. Говоримо о моделу Ллама 2 Лонг АИ.
Тим истраживача из компаније Мета некако је тихо објавио чланак у којем је представио нови модел вештачке интелигенције, Ллама 2 Лонг, способан да генерише кохерентне и релевантне одговоре на дугачке упите корисника. Највише, кажу, надмашује неке од најбољих конкурената у индустрији.
Ллама 2 Лонг је проширење Лама 2, АИ модел отвореног кода Мета објављен током лета који може да учи из различитих извора података и обавља различите задатке као што су кодирање, математика, разумевање језика и још много тога. Међутим, Ллама 2 Лонг је обучен за више података који садрже дуже текстове, а овај алгоритам је модификован да обрађује дуже секвенце информација. Ово му омогућава да надмаши ОпенАИ ГПТ-3.5 Турбо и Цлауде 2, који имају ограничења у количини контекста који могу да користе за генерисање одговора.
Истраживачи мета користили различите верзије Лламе 2 - од 7 милијарди до 70 милијарди параметара, односно вредности које АИ модел може да промени учењем из података. Додали су још 400 милијарди токена (јединица текста) података који су садржали дужи текст од оригиналног скупа података модела. Такође су мало прилагодили архитектуру АИ модела користећи технику Ротари Поситионал Ембеддинг (РоПЕ) тако да модел може да генерише тачне и корисне одговоре користећи мање информација и меморије од других метода.
Тим је користио учење уз помоћ људских повратних информација (РЛХФ), метод у којем се АИ модел награђује за тачне одговоре и исправљају га људи који оцењују, а синтетичке податке генерише сам Ллама 2 цхат. како би побољшао своје перформансе у различитим задацима .
У раду се тврди да модел може да генерише висококвалитетне одговоре на корисничке упите дужине до 200 карактера, што је еквивалентно око 40 страница текста. Истраживачи кажу да је Ллама 2 Лонг корак ка стварању општијих и разноврснијих АИ модела који могу да задовоље сложене и различите потребе корисника. Они такође препознају потенцијалне етичке и друштвене импликације таквих модела и позивају на даља истраживања и дијалог о томе како да их користе одговорно и на корист.
Прочитајте такође: