Technikos milžinas „Meta“ šią savaitę išleido naujausios kartos savo didelės kalbos modelį „Llama 3.1 405B“ – atvirojo kodo modelį, kuris, pasak jos, prilygsta patentuotiems LLM konkurentams, tokiems kaip OpenAI. GPT-4 ir GPT-4o ir antropiniai Claude 3.5 sonetas.
Lama yra tai, kas suteikia galių Meta AI asistentas. Nuo antradienio „Llama 3.1 405B“ galima pasiekti per asistentą, su kuriuo susiduriate „WhatsApp“ (kuri priklauso „Meta“) ir svetainėje Meta.ai. Nors „Meta AI“ taip pat galite naudoti „Instagram“ ir „Facebook“, iš karto nebuvo aišku, ar naujausias modelis taip pat pasiekiamas šiose platformose. Atstovas į prašymą pakomentuoti neatsakė.
Pirmoji Metos Llama versija buvo išleistas 2023 m. vasario mėn., tačiau net generalinis direktorius Markas Zuckerbergas pripažino, kad ankstyvosios Llama versijos atsiliko nuo savo bendraamžių.
„Praėjusiais metais „Llama 2“ buvo lyginamas tik su senesnės kartos modeliais, esančiais už sienos“, – rašė jis. dienoraščio įraše paskelbtas antradienį.
Dideli kalbiniai modeliai yra tokios generatyvių AI pokalbių robotų technologijos OpenAI ChatGPT, Google Dvyniai ir Meta AI. Jie yra apmokyti naudoti didžiulius duomenų rinkinius, kad išmoktų naudoti kalbą, kad galėtų sukurti savo unikalų turinį, kuris skamba bent jau žmogiškai.
Be prieigos prie Llama 3.1 405B, „Meta AI“ vaizdų generavimo funkcija „Imagine“ pradeda įgalinti tai, ką bendrovė vadina „Imagine me“ raginimais, kurie leidžia kurti vaizdus, kuriuose jūs darote, pavyzdžiui, naršote ar esate naršymo dalis. siurrealistinė tapyba, paremta esamomis nuotraukomis. „Meta AI“ taip pat gauna naujų redagavimo įrankių, kurie leis pašalinti ir redaguoti objektus vaizduose. Nuo šios savaitės anglų kalbos vartotojai galės dalintis šiais vaizdais „Facebook“, „Instagram“, „Messenger“ ir „WhatsApp“.
Meta AI vaizdo generatorius buvo viena sužavėjusi savybė mano CNET kolegė Katelyn Chedraoui, kitu atveju, jautėsi „patogi, bet neįspūdinga“ padėjėja.
„Meta“ duomenimis, iki šiol „Llama“ buvo atsisiųsta daugiau nei 300 milijonų kartų.
Lama prieš visus
Naujausiuose „Llama“ modeliuose, kuriuose taip pat yra „Llama 3.1 8B“ ir „70B“, yra 128 000 žetonų kontekstinis langas, kuris parodo, kiek modelis gali prisiminti tam tikro pokalbio metu. OpenAI GPT-4o ir naujai paskelbtas GPT-4o Mini taip pat turi 128 000 žetonų kontekstinius langus, o „Google Gemini 1.5 Pro“ turi langą 1 milijonas žetonų.
Pagal atskiras dienoraščio įrašas, patobulintos „Llama“ argumentavimo galimybės padeda „Meta AI“ suprasti sudėtingesnes užklausas, ypač kai kalbama apie matematiką ir kodavimą. „Meta“ modeliai taip pat palaiko aštuonias kalbas.
Kaip „Llama 3“, kuri pasirodė balandžio mėnesįLlama 3.1 405B buvo išmokytas naudoti daugiau nei 15 trilijonų žetonų, o tai atitinka maždaug 11,25 trilijonus žodžių.
Meta teigia, kad 8B ir 70B modeliai geriausiai tinka tekstinėms santraukoms ir kaip pokalbių agentai bei kodavimo asistentai. Tuo tarpu 405B gali būti naudojamas sintetiniams duomenims kurti arba duomenims, generuojamiems naudojant algoritmus arba naudojant kompiuterinį modeliavimą (o ne iš realaus pasaulio šaltinių). Jis taip pat gali būti naudojamas modelio distiliavimui, kuris yra žinių perdavimo iš LLM į procesą procesas mažesnis modeliskuris siūlo dirbtinio intelekto galimybes ir greitį, kartu sunaudojant mažiau skaičiavimo išteklių.
Daugiau nei 25 partneriai, tokie kaip „Amazon“, „Databricks“ ir „Nvidia“, pristato susijusias „Llama 3.1 405B“ paslaugas, kad paremtų šiuos kūrėjus, o tai, Zuckerbergo nuomone, taip pat suteikia modeliui galimybę kovoti.
Pagrindinis skirtumas tarp Llama ir jos bendraamžių yra tas, kad Meta modelis yra atvirojo kodo. LLM yra dviejų rūšių. Patentuotus LLM gali naudoti tik kūrėjai, kurie perka prieigą. Atvirojo kodo LLM yra plačiai prieinami nemokamai.
Zuckerbergas teigė, kad dėl to „Llama“ ir „Meta AI“ galiausiai taps konkurencingesni, panašiai kaip atvirojo kodo „Linux“ programinės įrangos versija ilgainiui tapo populiaresnė nei uždaros, patentuotos „Unix“ programinės įrangos versijos, kurias sukūrė didžiosios technologijų įmonės. Savo tinklaraščio įraše Zuckerbergas teigė, kad taip yra dėl to, kad „Linux“ leido kūrėjams eksperimentuoti ir buvo pigesnis, todėl atsirado daugiau vartotojų ir, galiausiai, daugiau pažangos.