Mis on ja kuidas töötab?

Google New Albany Andmekeskus Ohios

On üldtuntud faktiks, et mida vähem inimesed mingist valdkonnast teavad seda kindlamaid ja "ilmeksimatumaid" veendumusi nad kipuvad selle kohta omama. Sealjuures äärmuslikud: kas on kuradist või toob inimkonnale lunastuse, mis muidugi kumbki pole korrektne. Seetõttu tekkis mõte kirjutada lühike ja loodetavasti ka tehnilise taustata tavakodanikule arusaadav hästi lihtsustatud kokkuvõte teemal: mis asi on LLM AI (suur keelemudel) tüüpi tehisintellekt TI. Siinkohal tahaks rõhutada, et LLM pole sugugi ainus tehisaru mudeli põhimõte ja personaalselt kaldun arvama, et tehisliku superintellekti aluseks saab olema mõni teine (näiteks EBM (Energy based model), World Model (based on Physical World, laws of Nature) või kombinatsioon mitmest, ...). 

Tuntud võimsaid LLM mudeleid on õige mitmeid, enamus neist USA või Hiina firmade loodud, paar tükki ka Euroopas. Tipus vähem kui kümme, kelle mitu korda kuus välja tulevad uued versioonid järjest üksteist igasugu testide skooridega üle trumpavad. Mugavuse mõttes näidiseks Gemini AI kuna enamuse ajast kasutan ka ise seda. Tegelikult sisulist vahet pole, Open-AI, Grok, Meta, Antrophic, CoPilot, jne ... kõik sarnased tavakasutajale.

Mis on Gemini 3 füüsiliselt ja tarkvaraliselt?

Gemini 3 on globaalne hüperarvuti.

• Füüsiliselt (KEHA): Asub hiiglaslikes omavahel võrku ühendatud andmekeskustes üle maailma (USA-s, Soomes, Singapuris jne). Andmekeskustes on TPU Pods (Tensor Processing Unit - spets AI jaoks ehitatud protsessor) kogumid milles tuhanded omavahel ühendatud sünkroonselt töötavad protsessorid. Pods on omavahel ühendatud fiiberoptiliste kaablitega mis võimaldavad valguskiirusel tohutute andmekoguste transportimist. 

• Tarkvaraliselt (MÕISTUS): Arhitektuurilt on AI "Ekspertide segu" (Mixture-of-Experts). See pole mitte üks suur programm, vaid kogum spetsialiseerunud alamprogramme "mini-ajusid". Üks on hea programmeerimises, teine luules, kolmas füüsikas, neljas malemängus, ... jne ... Kui küsid küsimuse otsustab "Routing Layer" millisele alamprogrammile selle saadab. "Interference Engine" on tarkvara mis võimaldab mudeli tööd paralleelselt tuhandetel protsessoritel.

• Jaotus: Hübriid globaalsest ja lokaalsest. Igas piirkonnas on AI mudeli kohalik koopia, et vastus jõuaks sinuni kiiresti, kuid kõik need keskused on omavahel sünkroniseeritud üheks suureks süsteemiks. Tänu lokaalsetele koopitele ja omavahelisele võrguühenduses sünkroniseeritusele ei lülita lokaalsed häired AI'd maha. Kuni kas või üks mudel on töös töötab põhimõtteliselt kogu süsteem, lihtsalt hulka aeglasemalt. Täieliku katastroofi vältimiseks on mudelite koopiad salvestatud andmepankades, kust saab need kiiresti andmekeskustesse uuesti üles laadida.

Kuidas AI vastuse genereerib? (Näide: "Mitu osariiki on USA-s?")

AI ei ole otsingumootor, vaid mustrite ennustamise masin.

1. Tokeniseerimine: Küsimus tükeldatakse väikesteks osadeks ehk "tokeniteks". Arvuti ei loe sõnu, vaid numbreid.

2. Konteksti kaardistamine: AI paigutab need numbrid matemaatilisse mitme(miljoni)mõõtmelisse ruumi. Ta "teab", et sõnad "USA" ja "osariigid" asuvad geograafiliselt ja loogiliselt numbri "50" lähedal.

3. Tähelepanu (Attention): AI keskendub lause kõige olulisematele osadele (osariigid + USA) ja ignoreerib täitesõnu.

4. Ennustamine: AI ennustab vastust üks token korraga: "Seal" -> "on" -> "50" -> "osariiki". See põhineb tõenäosusel, mida ta on õppinud treeningu käigus läbitöötatud miljarditest tekstidest.

---

Andmevoog: Küsimuse ja vastuse liikumine

1. Sinu seade → Pilv: Sinu brauser pakendab klaviatuuril toksitud (või suulise) küsimuse digitaalsesse ümbrikusse (API request) ja saadab selle valguskaablite kaudu Google’i andmekeskusesse.

2. Värav: Google’i server kontrollib, kes sa oled ja milline arvuti on parajasti vaba.

3. Töötlus: Küsimus jõuab spetsiaalsetele TPU protsessoritele kus toimub "mõtlemine" ehk ülalpool kirjeldatud vastuse genereerimine.

4. Vastus → Sinu ekraan: Vastus saadetakse tihti "striimina" ehk üks sõna korraga tagasi sinu seadmesse, et sa ei peaks ootama terve lõigu valmimist.

Kuna LLM AI on mustrite ennustamise masin siis otse loomulikult pole ta ilmeksimatu. Mida suuremaks mudel ehitatakse, seda täpsemalt suudab ta ennustada vastuseid. Ma võrdleks lainetaval merel kindlas punktis vee taseme ennustamisega. Andmekoguse suurenemise ja funktsioonide keerukuse kasvuga suudab süsteem võtta arvesse järjest rohkem muutujaid ja vastasmõjusid alustades ookeanilainete amplituudiga ja jõudes läbi tuule põhjustatud pinnavirvenduse molekulide vahelise koosmõju arvestamiseni. Absoluutset täpsust pole seoses kvantmehhaanilise määramatusega kunagi võimalik saavutada.

Kas LLM AI saab aru või lihtsalt ennustab vastuseid küsimustele. Eelneva põhjal võiks öelda, et tegu äärmiselt keeruka ja asjaolusid arvesse võttes uskumatult täpse ennustamisega, mis on jõudnud sisulise mõistmise jäljendamiseni. Kas LLM veel suuremaks ja keerulisemaks muutmine viib teadvuse ja seeläbi sisulise mõistmise tekkimiseni? Spetsid on siin eriarvamusel, üheks väiteks, et kvantiteedi kasv toob kaasa kvaliteedi kasvu ja võimaliku murrangu ehk faasinihke, mis loodusest tuttav fenomen. Minu personaalne arvamus (mis siia-sinna kõikunud ja midagi ei maksa), et AGI taseme võib ehk saavutada LLM'ga kuid ASI vajab uut füüsilisel maailmal (mitte keelel) põhinevat mudelit.

Inimese (ja loomade) aju on tegelikult samuti mustrite äratundmise ja ennustamise masin, sealjuures suht ebatäiuslik ja viletsa mäluga. Mustrite põhjal üritab tulevikku ette ennustada ja vastavalt käituda. Samas suudab pidevalt muutuvas ja kohati etteennustamatus füüsilises maailmas vaid 20 vatise energiatarbe juures suht hästi hakkama saada!

AI-d saab igaüks jooksutada enda arvutis!

Mitte küll täismõõdus Gemini 3 (see vajaks tervet andmekeskust), kuid on olemas väiksemad mudelid.

• Gemma 3: Google'i avatud mudel, mis on mõeldud koduarvutitele.

• Vajalik riistvara: Tavaliselt vähemalt 16GB muutmälu (RAM) ja korralik graafikakaart (või Apple M2/M3/M4 kiip).

• Tarkvara: Rakendused nagu LM Studio, Ollama või Jan.ai võimaldavad AI alla laadida ja seda täiesti offline (ilma internetita) ja privaatselt kasutada.

Loodetavasti andis see postitus veidi selgema üldise arusaamise, mis asi on LLM AI.