AI detektor: kui täpselt tuvastab AI-teksti ja mida see tähendab

Mida üks AI detektor päriselt arvutab

Detektor ei tunne autorit. Ta vaatab teksti ja annab hinnangu, kui sarnane see on sellele, mida mudel tavaliselt toodab. Tallinna Ülikool sõnastab selle oma suunises kõige täpsemalt: tuvastusteenuste tulemused on „ennekõike ainult statistilised ennustused, mitte tõendusmaterjal“.

Sellest lausest piisab, et mõista, miks järgnevad numbrid on olulised. Kui vastus on tõenäosus, siis on igal vastusel kaks võimalikku viga: jätta märkamata tekst, mis on masina tehtud, ja märgata teksti, mille on kirjutanud inimene. Teine viga on see, mille pärast inimesed kaotavad töid, kohti ja mainet.

Mida avaldatud uuringud näitavad

Kolm allikat katavad küsimuse piisavalt, et selle põhjal otsustada. Kõik kolm on avalikud ja kontrollitavad.

Neljateistkümne tööriista test (2023). Weber-Wulffi ja kaasautorite uuring ajakirjas International Journal for Educational Integrity testis neljateistkümmet detektorit ja jõudis järeldusele: „our conclusion is that the systems we tested should not be used in academic settings.“ Täpsuse kohta on samas artiklis lause, mis võtab teema kokku: „Note that even the highest accuracy values are below 80%.“ Autorid hoiatavad ka keskmise numbri eest, sest see varjab erinevusi dokumenditüüpide vahel. Valepositiivsete osakaal oli tööriistade lõikes väga erinev: „The probability of false positives ranged from 0% (Turnitin) to 50% (GPT Zero).“ Ja kuus tööriista neljateistkümnest tekitasid valepositiivseid tulemusi inimkese kirjutatud tekstide peal.

Keeleline kallutatus (2023). Liang ja kaasautorid hindasid seitset laialt kasutatavat detektorit 91 TOEFLi essee ja 88 USA kaheksanda klassi essee peal. Tulemus: detektorid „incorrectly labeled more than half of the TOEFL essays as AI-generated (average false-positive rate: 61.3%)“. Kõik seitse märkisid ühiselt 19,8 protsenti inimkese kirjutatud TOEFL-esseedest ja vähemalt üks märkis 97,8 protsenti. USA õpilaste esseede puhul oli täpsus nende sõnul peaaegu täielik. Ehk USA kaheksanda klassi õpilaste esseed läbisid testi peaaegu täielikult, inglise keelt õppijate TOEFL-esseed mitte.

OpenAI enda katse. Kui OpenAI 31. jaanuaril 2023 oma klassifitseerija välja tõi, avaldas ta ka numbrid: klassifitseerija tuvastab 26 protsenti AI kirjutatud tekstist ja märgib inimkese kirjutatud teksti ekslikult 9 protsendil juhtudest. Ettevõte lisas, et lühikeste tekstide puhul alla 1000 tähemärgi on tulemus väga ebausaldusväärne, ja lõpetas tööriista: „As of July 20, 2023, the AI classifier is no longer available due to its low rate of accuracy.“

Kaubanduslikud tööriistad on oma numbrites optimistlikumad. Turnitin kirjutab, et tema eesmärk on olnud „a less than 1% false positive rate“, ja lisab samas: „given that our false positive rate is not zero, you as the instructor will need to apply your professional judgment“. See on aus lause, mida tasub lugeda tähelepanelikult: tootja ise ütleb, et otsus jääb inimesele. GPTZero vastab oma korduma kippuvate küsimuste lehel veelgi otsekohesemalt: „these results should not be used to punish students“.

Arvutus: mida valepositiivsete osakaal saja teksti juures tähendab

Protsent ei ütle midagi enne, kui selle paneb konteksti. Võtame olukorra, mis on realistlik nii koolis kui ka tööl: sada teksti, neist 20 on AI abiga tehtud ja 80 on inimese kirjutatud. Detektori tundlikkus on OpenAI avaldatud 26 protsenti ja valepositiivsete osakaal 9 protsenti.

Seega: kui detektor märgib kaksteist teksti, on neist seitse inimese kirjutatud. Iga märgitud teksti kohta, mille puhul oli kahtlus õigustatud, tuleb juurde rohkem kui üks inimene, kelle puhul kahtlus oli alusetu. See ei ole halb tööriist, see on lihtsalt matemaatika, mis kehtib iga klassifitseerija kohta, mille tundlikkus on madal ja valepositiivsus nullist suurem.

Sama arvutus kahe teise avaldatud numbriga, kus valepositiivsus on suurem:

Viimane rida on see, mis muudab küsimuse tõsiseks. Kui sinu töötajad, õpilased või kandideerijad kirjutavad inglise keeles, mis ei ole nende emakeel, siis ei ole detektori märge tõend millegi kohta peale selle, et tekst on korrektne ja ettearvatav. Sama uuringu viimane osa näitas ka vastupidist: kui ChatGPT kirjutas teksti ümber kirjanduslikumas keeles (viip: „Elevate the provided text by employing literary language“), langes tuvastus „near zero“ tasemele. Detektor ei ole takistus, vaid viide sellele, kui hästi tekst on kirjutatud.

Eesti kontekst: mida koolid ja ülikoolid on otsustanud

Eestis ei ole riiklikku nõuet detektorit kasutada. Haridus- ja Teadusministeerium ütleb oma tehisaru lehel (uuendatud 17.06.2025) kaks asja, mis panevad raami paika. Esiteks: „Tehisintellekti kasutamist õppetöös saab reguleerida kooli õppekavas.“ Teiseks: „Tehisintellekti kasutamine on käsitletav kõrvalise abina, kui see ei ole selgesõnaliselt osa ülesandest.“ Reegel elab kooli tasandil, mitte keskses tuvastussüsteemis.

Ministerium ütleb ka tuvastuse kohta otse, et kontrollida saab „vaid kogu teksti lausalist vastavust ja seda ainult konkreetse programmi loodud AI teksti kohta“. Ehk tuvastus toimib ainult siis, kui tekst on loodud täpselt selle tööriistaga, mille jaoks detektor on treenitud.

Kaks suuremat ülikooli on jõudnud järeldusele, mis on haruldaselt selge. Tartu Ülikool kirjutab oma suunises: „TI kasutamist tuvastava tarkvara rakendamine õppetöös õppijate kirjalike tööde kontrollimiseks ei ole põhjendatud, sest TI rakenduste loodud sisu tuvastamine pole tehniliselt võimalik.“ Sama suunis ütleb, mis on tegelik reegel: osaliselt või täielikult AI abiga loodud töö esitamine oma nime all ilma kasutamise mainimise ja viisi kirjeldamiseta loetakse akadeemiliseks petturluseks.

Tallinna Ülikool on veelgi otsesem: ülikool „ei soovita kasutada „tehisintellekti tuvastamise“ teenuseid“. Ehk Eesti suurimad õppeasutused on teinud otsuse, mille peale paljud ettevõtted alles jõuavad: tõendit ei ole olemas, seega tuleb reegel panna kirja ja hinnata sisu, mitte tööriista vastust.

Eesti keele kohta tuleb lisada üks piirang, mida on lihtne valesti tõlgendada. GPTZero tugileht loetleb keeled, mida teenus toetab, ja eesti keel ei ole selles nimekirjas. See ei ole tõestus, et eesti keeles tuvastus ei tööta. See on tõestus, et teenus ei väida eesti keele tuge, ja seega puudub avaldatud alus hinnata, kui hea või halb see eesti tekstide puhul on.

Mida AI määrus detektorite ja avaldatud teksti kohta ütleb

Tehisintellekti määrus ei keela detektoreid, aga ta puudutab kahte kohta, mis on selle teemaga otseselt seotud.

Avatud tekst. Määruse artikli 50 lõike 4 teine lõik ütleb: „Deployers of an AI system that generates or manipulates text which is published with the purpose of informing the public on matters of public interest shall disclose that the text has been artificially generated or manipulated.“ Samas lõigus on erand olukorrale, kus tekst on läbinud inimtoimetamise ja avaldaja kannab sisu eest toimetusvastutust. Kui avaldad oma kodulehel või blogis AI abiga koostatud teksti avaliku huvi teemal, on see säte see, mida lugeda. Kodulehe tegemise juures tähendab see üht lihtsat harjumust: kui tekst on masinaga loodud, siis ütle seda lugejale.

Õppimise ja eksamite kontekst. Määruse III lisa punkt 3(d) loetleb kõrge riskiga süsteemidena need, mis on „intended to be used for monitoring and detecting prohibited behaviour of students during tests in the context of or within educational and vocational training institutions“. Punkt 3(a) katab süsteemid, mis määravad juurdepääsu õppeasutusse. Kas konkreetne detektor kuulub nende alla, sõltub sellest, milleks teda päriselt kasutatakse: kui tulemus mõjutab hinnet või sisseastumist, siis on tegemist palju tõsisema õigusliku raamiga kui „abivahendiga õpetajale“. See on tõlgendus, mitte määruse otsene lause, ja enne sellise süsteemi kasutuselevõttu tasub see tõlgendus kirjalikult läbi vaadata.

Ajaline raam on selge: määrus kehtib alates 2. augustist 2026 ja komisjoni korduma kippuvate küsimuste järgi kohaldatakse artiklit 50 samast kuupäevast. Enne 2. augustit 2026 turule lastud süsteemidele on artikli 50 lõike 2 märgistuskohustuse osas ette nähtud piiratud üleminekuaeg kuni 2. detsembrini 2026.

Mida detektori asemel päriselt teha

Kui detektor ei ole tõend, siis millega tõendada? Sama küsimus on lahendatud teistes valdkondades ammu: tõendit ei otsita tekstist, vaid protsessist.

• Küsi töö käiku, mitte ainult tulemust. Mustand, kommentaarid, versioonide ajalugu ja see, kuidas autor oma valikuid seletab, on tõend, mida ei saa genereerida. Vestlus kestab kümme minutit ja ütleb rohkem kui ükskõik milline protsent.
• Pane reegel kirja enne tööd. Nii nagu Haridus- ja Teadusministeerium soovitab, kuulub AI kasutamise luba õppekavasse või töökorda. Kirjalik reegel tähendab, et hiljem ei vaielda selle üle, mida tohtis.
• Nõua kasutamise deklareerimist. Tartu Ülikooli sõnastus on kasutatav ka tööl: kui töö on osaliselt või täielikult AI abiga tehtud, siis kirjeldatakse kasutusviisi. See on lihtsam kui tuvastamine ja ausam kui vaikimine.
• Kontrolli sisu, mitte stiili. Vale fakt, olematu allikas ja üldsõnaline lõik on tuvastatavad ilma detektorita. Need on ka need vead, mis päriselt kahju teevad.

Kui tekstid on sinu enda saidil, siis on küsimus ka selles, kes need enne avaldamist üle vaatab ja mis alusel. See on osa kodulehe tegemise tööst, mitte eraldi tarkvara küsimus.

Ettevõtte jaoks on sama loogika kliendisuhtes. Kui klient küsib, kas tekst on AI kirjutatud, siis aus vastus on protsessi kirjeldus: kes kirjutas, mida masin tegi ja kes kontrollis. Detektori tulemuse edasi saatmine ei ole vastus, sest see ei ütle kliendile midagi selle kohta, kas tekst on õige.

Kui AI kasutamine on tööprotsessis sees, siis on mõistlik lugeda ka seda, mida määrus ettevõttelt nõuab: AI määrus ettevõttele annab sama raami äriloogikas ja kõrge riskiga süsteemi artikkel aitab otsustada, kas sinu juhtum on üldse selles kategoorias.

Kaheksa küsimust enne, kui detektori tulemuse peale midagi teed

Kaheksas rida on kogu artikli kokkuvõte ühes küsimuses. Kui vastus on „ei“, siis ei ole detektori tulemus midagi, mille peale ehitada otsus, mis mõjutab inimese elu. Edasi saab minna sisu, protsessi ja kokkulepitud reeglitega, ja need on kolm asja, mis töötavad ka siis, kui tööriist on eksinud.