Mis on LLM (suur keelemudel)?

LLM ehk suur keelemudel lühidalt

Mis on LLM? Suur keelemudel on närvivõrk, mis on treenitud suurel tekstikogumil ühte ülesannet täitma: ennustama, milline sõna või sõnaosa järgneb etteantud tekstile. Kordamine teeb imet. Kui mudel on piisavalt suur ja teksti piisavalt palju, oskab ta vastata küsimusele, tõlkida, kirjutada koodi ja hoida vestluse lõime.

Tehniline alus on transformer-arhitektuur, mille kirjeldas 2017. aastal artikkel Attention Is All You Need. Tähelepanu-mehhanism lubab mudelil vaadata korraga kogu sisendit ja kaaluda, millised sõnad on omavahel seotud. Just see tegi võimalikuks mudelid, mis töötavad pika tekstiga mõistliku kuluga.

Kuidas LLM töötab ettevõtte vaates

Sisend ja väljund on tekst. Kõik muu on inseneritöö selle ümber:

• Kontekst on tekst, mille sa päringuga kaasa annad. Selles on juhis, näited ja faktid, mille põhjal mudel vastab. Konteksti pikkus on piiratud ja iga sõna selles maksab.
• Token on tükk teksti, mille mudel loeb ja kirjutab. Eesti keeles kulub tokeneid tavaliselt rohkem kui inglise keeles; täpne arv sõltub tokenisaatorist.
• Temperatuur ja muud seaded mõjutavad seda, kui palju mudel hälbib kõige tõenäolisemast vastusest. Liigitamiseks tahad vähe hälvet, mustandi jaoks natuke rohkem.

Õiguslik pool: Euroopa Liidu AI määrus nimetab üldotstarbelise AI-mudeli eraldi kategooriaks ja paneb selle pakkujale dokumenteerimis- ja läbipaistvuskohustused. Need kohustused kehtivad alates 2. augustist 2025. Kui kasutad mudelit oma tootes, küsi pakkujalt kirjalikult, mida ta sulle kohustub andma.

Näide Eesti ettevõttest

Kindlustusmaakler saab kahjukäsitlejatelt vabas vormis märkmeid ja peab need kandma süsteemi kindlatesse väljadesse. Praegu loeb inimene märkme läbi ja sisestab kuus välja.

Mudel teeb seda, kui talle antakse väljade kirjeldused ja paar näidet. Väljundi formaat on ette antud, seega vale struktuur on kohe nähtav. Kui märge ei sisalda kuupäeva, peab mudel jätma välja tühjaks, mitte leiutama; see reegel tuleb hindamiskomplekti kirjutada ja testida eraldi.

Teine sobiv töö on kokkuvõte pikkadest lepingutest, aga seal peab iga väite juures olema viide lõigule, muidu ei saa inimene kontrollida. Sama muster on lahti kirjutatud artiklis teadmistebaas chatbotile, kus allikas ja vastus hoitakse koos.

Millal LLM ei ole õige vahend

• Ainus tõeallikas. Kui keegi küsib summat, kuupäeva või seaduse sätet, peab vastus tulema andmebaasist või registrist. Mudel võib vastust sõnastada, mitte välja mõelda.
• Deterministlik arvutus. Maksud, palgad, laenud. Mudel eksib harva, aga eksib ettearvamatult ja seda ei saa aktsepteerida.
• Pikk ja muutuv materjal ilma otsinguta. Kui teadmistebaas on 3000 lehekülge, ei mahu see konteksti. Siis on vaja otsingut ja vektorandmebaasi, mitte suuremat konteksti.
• Otsus, mis puudutab inimese õigusi. Siin kehtib määruse kõrge riski kord ja inimjärelevalve nõue; mudel ettevalmistab, inimene otsustab.

Kulu ja töömaht

Kulu jaguneb sisend- ja väljundtokeniteks ning korduskatseteks. Sisend on tavaliselt suurem, sest igas päringus on kontekst; väljund on lühem, aga tokeni hind on kõrgem. Täpne arvutus ühe ülesande kohta on artiklis AI-agendi kulu, kus on näide 200 e-kirjast päevas.

Inseneritöö osa on mudeli valik ja hindamine: kaks mudelit samal komplektil, tulemuste kõrvutamine, otsus. Minu hinnang: selleks kulub tavaliselt paar päeva, mitte nädalate kaupa arendust, ja just see päästab hiljem kõige rohkem raha, sest vale mudel on kallis iga kuu, mitte üks kord. Kui tahad hinnata, kas LLM-põhine lahendus sinu töövoos tasub, alusta AI konsultatsiooni kirjeldusest.