Phi модел на вештачка интелигенција од Microsoft - мал, евтин и не страда од „халуцинации“. Вака велат за новиот јазичен модел за кој се предвидува голема иднина.
GPT е апсолутно одличен, но во исто време е ужасно скап и не може да биде совршен за секого. Поради овие и многу други причини Microsoft експериментира со многу помали модели со вештачка интелигенција. Се вели дека Phi-3-mini дури и ја засрамува работата на инженерите на OpenAI.
Исто така интересно: Транзистори на иднината: Нè очекува нова ера на чипови
ChatGPT не е лек
ChatGPT е изум кој е финансиран, куриран и подобрен Microsoft. Всушност, тоа не припаѓа Microsoft, и компанијата OpenAI, која Microsoft не поседува (таа е водечки, иако не и најголем, инвеститор). Моделот на јазикот GPT даде Microsoft огромна предност во однос на останатите големи технолошки корпорации кои сега брзаат да го стигнат. Сепак, има огромен број проблеми со GPT, од кои многу сè уште не можат да се решат.
Како прво, ова е јазичен модел кој бара многу ресурси. Веб ориентиран Microsoft Copilot или ChatGPT на OpenAI создаваат многу високи оперативни трошоци за Microsoft. Ова е карактеристика не само на GPT, туку и на сите главни јазични модели. Покрај тоа, GPT, како и неговите конкуренти, е склон кон „халуцинации“, односно може да генерира одговори на прашања кои содржат лажни или погрешни информации. Колку повеќе податоци апсорбира таквиот модел, толку повеќе има тенденција да генерира слична содржина. Затоа, халуцинациите и лажните изјави не се мит исцицан од дигитален прст. Корисниците често забележуваат дека големите јазични модели често прават грешки, даваат неточни податоци и работат на непостоечки факти.
Двата проблеми се многу сериозни, поради што OpenAI, Microsoft, Мета, Гугл и други работат на развивање не само на технологијата Large Language Model, туку и на Small Language Model, кој во пракса може да даде многу подобри резултати.
Асистентот на дигитален сметководител не треба да знае многу за квантната физика. Може да биде многу помал и помалку сложен (и затоа и поевтин), а со обука само за податоците потребни за неговата намена, теоретски треба да халуцинира помалку. Иако, ова е полесно да се каже отколку да се направи. Технологијата GenAI сè уште е див ИТ потфат. И иако работата напредува со невидено темпо, сè уште е тешко практично да се направи пробив во основните прашања. Но, компанијата Microsoft неодамна најави таков пробив. Зборуваме за мал јазичен модел Microsoft Фи.
Исто така интересно: Како Тајван, Кина и САД се борат за технолошка доминација: големата војна со чипови
За што се знае Microsoft Phi
Пред сè, треба да се забележи дека експериментот беше спроведен без учество на компанијата OpenAI. Односно, тоа е развојот на инженерите Microsoft.
Модели Microsoft Phi е серија мали јазични модели (SLM) кои постигнуваат исклучителни резултати во различни тестови. Првиот модел, Phi-1, имаше 1,3 милијарди параметри и ги постигна најдобрите резултати за кодирање на Python меѓу постоечките SLM.
Програмерите потоа се фокусираа на разбирањето и размислувањето на јазикот, создавајќи го моделот Phi-1.5, кој исто така имаше 1,3 милијарди параметри и покажа перформанси споредливи со моделите со пет пати поголеми параметри.
Phi-2 е модел со параметри од 2,7 милијарди кој покажува извонредни способности за расудување и разбирање јазик, изведувајќи на ниво на најдобрите основни модели со 13 милијарди параметри. Phi-2 се издвојува од другите модели поради неговите иновации во скалирањето на моделите и обуката за чување податоци.
Достапен е во каталогот на модели на Azure AI Studio, кој го олеснува истражувањето и развојот во областа на јазичните модели. Phi-2 беше лансиран во декември 2023 година. Програмерите уверуваат дека работи исто како и Мистрал или Лама 2 од Мета. И Phi-3 работи уште подобро од претходната верзија.
Сепак, моделот Phi-3 кој штотуку беше објавен е сосема нов по квалитет. Барем така можете да процените од дадените информации Microsoft. Според компанијата, според показателите на сите познати репери, Phi-3 работи подобро од кој било друг модел со слична големина, вклучувајќи јазична анализа, програмска работа или математичка работа.
Phi-3-mini, најмалата верзија на овој модел, штотуку стана достапна за сите заинтересирани. Односно е достапен од 23 април. Phi-3-mini има 3,8 милијарди параметри и според мерењата Microsoft, двојно поефикасен од кој било друг модел со иста големина. Може да се најде во каталогот на модели со вештачка интелигенција на услугата облак Microsoft Azure, платформата за модели за машинско учење Hugging Face и Ollama, рамка за водење модели на локален компјутер.
Како што тврди Microsoft, Phi-3-mini не бара моќни чипови Nvidia. Моделот може да работи на обични компјутерски чипови. Или се вклопуваат дури и на телефон што не е поврзан на Интернет.
Помалата моќност значи и дека моделите нема да бидат толку точни. Phi-3 нема да биде погоден за лекари или даночни сметководители, но ќе помогне во поедноставни задачи. На пример, за таргетирање рекламирање или сумирање на прегледи на Интернет.
Бидејќи помалите модели бараат помала обработка, тие ќе бидат поевтини за приватните компании да ги користат. Тоа е, во Microsoft ќе има повеќе клиенти кои би сакале да ја вклучат вештачката интелигенција во својата работа, но сметаат дека е премногу скапа. Сепак, се уште не е јасно колку ќе чинат.
Се уште не е познато кога ќе се појават малите и средните модели. Но, вториот ќе биде помоќен и поскап. Иако веќе е познато дека Phi-3-small ќе има 7 милијарди параметри, а Phi-3-medium дури 14 милијарди параметри.
Прочитајте исто така:
- Графенските микрочипови ќе ги направат телефоните побрзи и полесни
- За квантните компјутери со едноставни зборови
Како да се користи Phi-3-mini?
GPT-4 Turbo бара моќни чипови со вештачка интелигенција, кои се уште се многу скапи. Малиот говорен модел Phi-3 може да работи офлајн, без облак, дури и со чип на мобилен телефон.
Phi-3 не е производ за крајните корисници, туку технологија што програмерите ќе можат да ја користат и имплементираат во нивните апликации - и базирани на облак, односно лоцирани од далечина и оние што работат локално и офлајн. Се очекува да работи беспрекорно со уредите и нивните компоненти, како што се мобилните телефони, автомобилите и нивните инфозабавни системи, па дури и IoT сензорите. Во некои сценарија, оваа технологија може да биде непроценлива.
Microsoft дури дава и конкретен пример за да не ја оптоваруваме фантазијата. Замислете земјоделец како ги прегледува своите култури и гледа знаци на болест на лисјата, стеблата и гранките. Бидејќи е далеку од телекомуникациските јарболи, ќе треба само да го извади телефонот, да ја слика штетата, да го стави во апликација која користи технологија Phi-3 - а моделот брзо и офлајн ќе ја анализира фотографијата и ќе даде совет за како точно да се бориме со оваа болест.
Како што објаснува Microsoft, клучот за успехот на GPT беше да привлече огромни количини на податоци за обука. Со толку големи збирки на податоци, висок квалитет на податоци не доаѓа предвид. Во меѓувреме, при обуката на моделот Phi, се користеше токму спротивниот пристап OpenAI. Наместо да се натрупа моделот со информации, фокусот беше на постепено и темелно учење.
Наместо да користат необработени податоци од Интернет, истражувачите Microsoft ја создаде базата на податоци на TinyStories, генерирајќи милиони минијатурни приказни за „бебиња“. Овие приказни беа искористени за обука на многу мали јазични модели. Истражувачите потоа отидоа понатаму со создавање на базата на податоци CodeTextbook, која користеше внимателно избрани, јавно достапни податоци кои беа филтрирани за образовната вредност и квалитетот на содржината. Овие податоци потоа се филтрираа неколку пати и се враќаа во голем јазичен модел (LLM) за понатамошна синтеза.
Сето ова овозможи да се создаде низа податоци доволни за да се обучи поспособен SLM. Дополнително, при развојот на моделот Phi-3 се користеше пристап на повеќе нивоа за управување со ризик и ублажување, вклучувајќи проценка, тестирање и рачни прилагодувања. Како резултат на тоа, како што тврди Microsoft, програмерите кои го користат семејството на модели Phi-3 можат да ги искористат предностите на комплетот алатки достапни во Azure AI за да изградат побезбедни и сигурни апликации.
Прочитајте исто така: Телепортацијата од научна гледна точка и нејзината иднина
Microsoft Дали Phi ќе ги замени моделите од типот ChatGPT?
Воопшто не. Малите јазични модели (SLM), дури и кога се обучени за висококвалитетни податоци, имаат свои ограничувања и не се дизајнирани за длабоко учење. Големите јазични модели (LLM) ги надминуваат SLM во сложеното расудување поради нивната големина и пресметковна моќ. LLM се, и ќе продолжат да бидат, особено корисни во области како што е откривањето на лекови, каде што треба да се пребарува низ огромни збирки научни трудови и да се анализираат сложени обрасци. Од друга страна, SLM може да се користи за поедноставни задачи, како што се сумирање на главните точки на долг текстуален документ, создавање содржина или напојување на чет-ботови за услуги на клиентите.
Microsoft, рече таа, веќе користи внатрешно хибридни модели на сетови, каде што LLM го презема водството, насочувајќи одредени прашања кои бараат помала компјутерска моќ кон SLM додека самиот се справува со други, посложени прашања. Phi е позициониран за пресметување на уреди, без користење на облакот. Сепак, сепак ќе има јаз помеѓу малите јазични модели и нивото на интелигенција што може да се добие со големите модели во облакот. Овој јаз, благодарение на континуираниот развој на LLM, веројатно нема да исчезне наскоро.
Phi-3 допрва треба да биде потврден од надворешни независни страни. Microsoft понекогаш зборува за 25 пати поголема ефикасност или енергетска ефикасност во екстремни случаи, во споредба со конкурентите, што звучи прилично чудесно. Иако, од друга страна, не може да се заборави дека овие години поминаа Microsoft малку нè одвикна од фактот дека е јасен лидер во ИТ иновациите, па можеби затоа и не веруваме во тоа. Програми базирани на вештачка интелигенција кои реагираат веднаш и работат офлајн наместо да генерираат? Ова би било достојна кулминација на актуелната револуција. За жал, постои еден клучен проблем.
Прочитајте исто така: Сè за чипот Neuralink Telepathy: што е тоа и како функционира
Фи-3 од Microsoft разбира само англиски јазик
Phi-3 не ги голташе масовно фрлените петабајти. Внимателна и скрупулозна обука на моделот вклучува еден помал проблем. Phi-3 е обучен со информации на англиски јазик и сè уште нема идеја за друг јазик. Не само украински, туку и германски, шпански, француски или кинески. Се разбира, ова во голема мера ја намалува неговата привлечност за повеќето корисници ширум светот.
Но во Microsoft увери дека се работи на неговиот развој и подобрување. Иако не треба да се залажувате дека украинскиот пазар е приоритет за некоја од големите корпорации. Затоа, ќе треба да чекаме многу долго за поддршка на украинскиот јазик. Но, овој факт никогаш не ги спречи ентузијастите и оние кои сакаат да бидат во чекор со напредокот.
Прочитајте исто така: