Мета платформи на годишниот настан Meta Connect во Калифорнија презентирани неколку нови функции за вештачка интелигенција за неговите популарни апликации Facebook, Instagram и WhatsApp, но најимпресивната иновација од технолошкиот гигант можеби остана незабележана од многумина. Станува збор за моделот Llama 2 Long AI.
Тим истражувачи од компанијата Мета некако тивко објавија статија во која го претставија новиот модел на вештачка интелигенција, Llama 2 Long, способен да генерира кохерентни и релевантни одговори на долгите кориснички прашања. Најмногу, велат тие, ги надминува некои од најдобрите конкуренти во индустријата.
Лама 2 Лонг е продолжение Лама 2, модел со отворен код за вештачка интелигенција Meta објавен во текот на летото, кој може да учи од различни извори на податоци и да извршува различни задачи како кодирање, математика, разбирање јазик и многу повеќе. Сепак, Llama 2 Long беше обучен за повеќе податоци што содржат подолги текстови, и овој алгоритам беше изменет за да се справи со подолги секвенци на информации. Ова му овозможува да ги надмине GPT-3.5 Turbo и Claude 2 на OpenAI, кои имаат ограничувања на обемот на контекст што можат да го користат за да генерираат одговори.
Истражувачите мета користеше различни верзии на Llama 2 - од 7 милијарди до 70 милијарди параметри, односно вредности што моделот на вештачка интелигенција може да ги промени со учење од податоците. Тие додадоа уште 400 милијарди токени (единици текст) податоци кои содржеа подолги текстови од оригиналниот модел на податоци. Тие, исто така, малку ја изменија архитектурата на моделот со вештачка интелигенција користејќи ја техниката Ротари Позиционо Вградување (RoPE), така што моделот може да генерира точни и корисни одговори користејќи помалку информации и меморија од другите методи.
Тимот користеше засилено учење од човечки повратни информации (RLHF), метод каде што моделот на вештачка интелигенција се наградува за точни одговори и се коригира од оценувачите, а синтетичките податоци се генерираат од самиот разговор на Llama 2. за да се подобрат неговите перформанси во различни задачи .
Весникот тврди дека моделот може да генерира висококвалитетни одговори на корисничките барања со должина до 200 карактери, што е еквивалентно на околу 40 страници текст. Истражувачите велат дека Llama 2 Long е чекор кон создавање поопшти и разновидни модели на вештачка интелигенција кои можат да ги задоволат сложените и различни потреби на корисниците. Тие, исто така, ги препознаваат потенцијалните етички и социјални импликации на таквите модели и повикуваат на понатамошно истражување и дијалог за тоа како да се користат одговорно и корисно.
Прочитајте исто така: