Automaatne klienditugi: mida mõõta, et number ei petaks sind

Kolm arvu, mida tavaliselt esitatakse

Automaatse klienditoe tulemusi esitatakse kolme numbriga: mitu vestlust bot kuus pidas, kui suur oli deflekteerimine ja milline oli rahulolu. Ükski neist ei näita eraldi vaadates, kas kliendi küsimus lahenes.

Vestluste arv mõõdab liiklust, mitte tulemust: rohkem vestlusi võib tähendada paremat teenust või seda, et inimest on raskem leida. Deflekteerimine loeb kontakte, mis ei jõudnud inimeseni, sealhulgas need, kus klient loobus. Rahulolu küsitakse tavaliselt vestluse lõpus ja vastavad need, kellel on aega, mis kallutab tulemuse ülespoole.

Allpool on mõõdikud, mis peavad vastu ka siis, kui keegi tahab head numbrit näidata. Iga mõõdiku juures on valem, sest ilma valemita vaidlevad inimesed tõlgenduse üle, mitte tulemuse üle. Need kehtivad igale veebilehe chatbotile, olenemata sellest, kas see on ise ehitatud või platvormilt ostetud.

Mõisted tuleb lukku lüüa enne mõõtmist

Kõige levinum põhjus, miks eri kuuaruannete arvud ei klapi, on see, et sõnad tähendavad eri asju. Need mõisted tuleb kirja panna enne avaldamist ja mitte hiljem muuta.

Minuti hind: näidisarvutus Eesti palgalt

Säästu saab väljendada ainult rahas, kui on teada, mis üks minut klienditoes maksab. Järgnev on näidisarvutus kahe avaliku arvu ja ühe valitud eeldusega, mitte klienditoe ametlik keskmine.

1. Brutokuupalk

   Statistikaameti andmeil oli 2026. aasta II kvartalis keskmine brutokuupalk 2 243 eurot. See on kogu majanduse keskmine, mitte klienditoe oma, seega kasuta seda suurusjärguna ja asenda oma palgaga, kui see on teada.

2. Tööjõukulu

   Tööandja maksab palgalt sotsiaalmaksu 33% ja töötuskindlustusmakset 0,8% (EMTA). Seega 2 243 × 1,338 = 3 001 eurot kuus.

3. Tund ja minut

   Valitud eeldus: 168 töötundi kuus. 3 001 / 168 = 17,86 eurot tunnis ehk 0,298 eurot minutis. Ümardatult 0,30 eurot minutis.

See arv on kogu artikli alus. Kui sinu klienditugi on keskmisest palgast kõrgemal, muutub iga allpool olev summa proportsionaalselt. Kui see on madalamal, väheneb sääst samas tempos.

Kontakti hind: kaks ostuvarianti

Võtame klienditoe, kus tuleb 1 000 kontakti kuus ja üks kontakt võtab inimesel keskmiselt kuus minutit. See teeb 6 000 minutit ehk 1 786 eurot inimtööd kuus. Boti poolel on kaks eri ostu, mida ei tohi ühte veergu panna.

Kolm asja, mida see tabel ütleb ja mida müügiesitlus enamasti ei ütle. Esiteks ei ole Fini tulemusetasu kõrval eraldi mudeliarvet: 0,99 dollarit lahendatud tulemuse eest katab platvormi enda mudelikasutuse, seega oma boti tokenirida on alternatiiv, mitte Fini tasule lisatav rida. Teiseks võivad Fini juurde lisanduda valitud kasutajatoe kohtade tasud või eraldi Fini kuumiinimum, mida selles tabelis ei ole. Kolmandaks jääb inimtöö alles mõlemas variandis, sest 45% kontaktidest on need, mille jaoks bot ei olnud piisav.

Sellest tuleneb ka aus järeldus, mida müügiesitlus ei ütle: kontakti hind langeb vähem kui poole võrra, kui arvestada hooldust. Kui keegi lubab, et bot asendab klienditoe, tasub küsida, mis juhtub nende 450 kontaktiga, mis jäävad inimesele, ja kes need ära teeb.

Korduskontakt tuleb arvutada kohordi, mitte ringiga

Lahendusmäära saab üles ajada kahel viisil: lugeda lahendatuks iga vestlus, mille klient sulges, või lugeda lahendatuks vestlus, kus bot vastas midagi. Mõlemad on tehniliselt tõesed ja sisuliselt valed.

Vastumürk on seitse päeva, kuid seda ei tohi arvutada lahendusmäära nimetajas. Kui lahendatud kontakt on defineeritud kui „ei pöördunud nädala jooksul tagasi”, siis tagasitulijaid nimetajas enam ei ole ja mõõdik kaob iseenda sisse. Töötav järjekord on kolme sammuga:

1. Fikseeri kohort

   Kohort on kõik kontaktid, mille bot märkis algselt lahendatuks ühel nädalal. Anna igale kontaktile kliendi tunnus, et hilisem pöördumine oleks seotav.

2. Oota seitse päeva

   Korduskontakti hinda alles kohordil, mis on vähemalt seitse päeva vana. Värskel nädalal ei ole vastust veel olemas ja selle arvutamine annab alati nulli.

3. Arvuta kaks eri asja

   Korduskontakt = sama teemaga tagasi pöördunud algselt lahendatuks märgitud kontaktid / kõik sama kohordi algselt lahendatuks märgitud kontaktid. Kontrollitud lahendusmäär = algne lahendusmäär × (1 − korduskontakt). Need on kaks eri mõõdikut ja neil peavad olema eri nimed.

Selle näidismõõtelaua algsed sihtväärtused on lahendusmäär üle 50% ja korduskontakt alla 15%. Kui algne lahendusmäär on 70%, aga korduskontakt 30%, ei lahenda bot asju, vaid lükkab neid nädala võrra edasi.

Vale vastuse määr: mõõdik, mida bot ise ei anna

Kõik muud mõõdikud tulevad logidest. See üks tuleb inimese silmast. Võta iga nädal juhuslik valim lahendatud vestlustest ja loe iga vestluse juures kaks asja: kas sisu oli õige ja kas vastus toetus allikale, mis on tsiteeritud.

Ühikuks on vestlus, mitte vastus. Vale vastuse määr = vähemalt ühe vale vastusega vestlused / kõik hinnatud vestlused. Kui lugeja ja nimetaja pole samas ühikus, võib mitme vastusega vestlus anda üle 100 protsendi ja number kaotab tähenduse.

Valimi suurus sõltub mahust, mitte traditsioonist: kolmkümmend vestlust nädalas on mõistlik algus, kui kontakte on tuhatkond kuus, ja väiksema mahu juures piisab viiestteistkümnest. Tund aega nädalas on piisav, kui valim on juhuslik. See on ka ainus viis leida vigu, mida logi ei näita: vale summa, vale tähtaeg, vale tingimus. Kui vale vastus puudutab raha, õigust või tervist, ei ole see protsent, vaid üksikjuhtum, mis käivitab paranduse kohe.

Hindamise skaala leiab testkogu artiklist: seal on 0–2 punkti skaala ühele vastusele ja 40 küsimuse näidistest, mis on mõeldud eraldi avaldamiseelseks kontrolliks, mitte igapäevase vestlusvalimi malliks.

Üleandmise kvaliteet loeb rohkem kui kiirus

Üleandmine on hetk, kus klient otsustab, kas botist oli abi või kahju. Kui ta peab inimesele sama jutu uuesti kirjutama, on kogu eelnev vestlus olnud takistus.

Iga üleantud vestlus peab kaasa võtma neli asja: kliendi identifikaatori, teema, juba proovitud sammud ja transkripti. Kui need on olemas, saab inimene alustada vastusest, mitte küsimusest. Mõõdik on lihtne: mitu protsenti üleantud vestlustest jõudis õigesse kanalisse kontekstiga ja kui pikk oli aeg kuni esimese inimvastuseni.

Üks nõue tuleb seadusest, mitte mõõtmisest. Määruse (EL) 2024/1689 konsolideeritud tekst nõuab artiklis 50(1), et inimene, kes suhtleb AI-süsteemiga otse, oleks sellest teadlik, kui see ei ole kontekstist ilmselge, ja artikli 50(5) järgi tuleb teave anda selgelt hiljemalt esimese suhtluse hetkel. Artikkel 113 seab üldiseks kohaldumiskuupäevaks 2. augusti 2026 ja erandid ei puuduta IV peatükki, kuhu artikkel 50 kuulub. TTJA ülevaateleht märgib vestlusrobotite läbipaistvuskohustuse alguseks 2. detsembri 2026; see lahkneb algtekstist, seega lähtu kuupäeva puhul algtekstist ja lisa teavitus niikuinii kohe.

Säästetud tööminutid kolme mahu juures

Sama arvutus kolme mahu peal näitab, miks väike klienditugi ei peaks otsustama raha, vaid kättesaadavuse järgi. Eeldused: kuus minutit kontakti kohta, 55% lahendusmäär ehk 45% kontaktidest jääb inimesele, hooldus 3 töötundi kuus ehk 53 eurot, oma boti tokenid 8, 25 ja 75 eurot ning Fini tasu 0,89 eurot lahendatud kontakti eest.

Kolmsada kontakti kuus on ligikaudu kümme kontakti kalendripäevas või 14 kontakti 22 tööpäeva korral. Selle mahu juures on oma boti võit 234 eurot kuus ehk umbes 13 töötundi, kolm korda rohkem kui tabelis arvestatud hooldus. Nende mahtude juures ei ole õige argument kokkuhoid, vaid see, et kontakt tuleb ka kell 21 ja laupäeval, kui inimest ei ole.

Fini veerg on väiksem seetõttu, et tulemusetasu kasvab koos lahenduste arvuga, ja see arvutus ei sisalda Intercomi kasutajatoe kohti ega eraldi Fini kuumiinimumi. Kolme tuhande juures muutub pilt sellest hoolimata selgeks: mõlemal variandil on võit päris raha ja seal tasub juba optimeerida, kas suurem lahendusmäär tuleb mudeli vahetusest või paremast teadmistebaasist. Optimeerimise järjekord on alati sama: kõigepealt allikad, siis otsing, kõige viimasena mudel.

Kanali nihe, mida säästetud tööminutid ei näita

Üks asi jääb igast minutiarvutusest välja. Kui bot teeb kontakti mugavaks, hakkab neid tulema rohkem. Inimene, kes varem ei viitsinud küsida, küsib nüüd, sest see on lihtne. See on hea tulemus kliendile ja halb tulemus eelarvereale, sest maht kasvab kiiremini kui lahendusmäär.

Sellepärast tasub mõõta ka kanali nihet: kui palju kontakte tuleb kanalis, mis varem oli tühi, ja kui palju neist on küsimused, mida varem ei esitatud. Kui nihe on suur, ei ole õige järeldus, et automaatika ei tasu end ära. Õige järeldus on, et võrdlusbaas peab olema kontaktivaba olukord, mitte eelmise aasta number.

Kolm numbrit, mida ei tasu juhina jälgida

Mõõtelaud ei ole terviklik, kui sinna ei kuulu ka see, mida mitte jälgida. Need kolm on kergesti kättesaadavad ja seetõttu ka kergesti eksitavad.

• Vestluse pikkus. Pikk vestlus võib tähendada head teenust või seda, et bot ei saanud küsimusest aru ja klient proovis viis korda. Lühem ei ole parem, pikem ei ole hullem.
• Boti enesekindlus. Mudel oskab anda hinnangu, kui kindel ta on, ja see arv ei ole kalibreeritud. Kõrge kindlus vale vastuse juures on tavaline, mitte erand.
• Rahuloluskoor kõigi vestluste peale. Kui küsida kõigilt, vastavad need, kellel on aega. Kui küsida ainult lahendatud vestluste järel, mõõdad boti tugevust, mitte teenust.

Neid võib vaadata, aga otsust ei tohi nende põhjal teha. Otsus tuleb lahendusmäära, korduskontakti ja käsitsi hinnatud vale vastuse määra põhjal, sest need kolm on seotud kliendi tegeliku tulemusega, mitte vestluse kujuga.

Platvormi näitaja ei ole sinu näitaja

Valmisplatvormid näitavad lahendusmäära oma tööruumis, ja see arvutatakse nende definitsiooni järgi. Müügis näidatud klientide keskmine ei pruugi ennustada sinu tulemust; sinu tööruumi lahendusmäär tuleb üle kontrollida oma logide põhjal.

Intercomi Fin on sellest hea näide. Tema tulemuse definitsiooni järgi loetakse lahenduseks ka eeldatud lahendus: kui klient pärast viimast sisulist vastust enam abi ei küsi, on tulemus olemas. Kui klient palub selgesõnaliselt inimest, siis tulemust ei arvestata ja selle eest ei maksta. See tähendab, et eeldatud lahendus on tasuline, kuid see ei tõenda automaatselt vastuse õigsust ega kliendi rahulolu.

Sama raha saab lugeda ka teisiti. Kui sinu inimene maksab 0,30 eurot minutis ja üks kontakt võtab kuus minutit, on inimkontakt 1,79 eurot. Fini lahendatud kontakt 0,89 eurot ja oma boti lahendatud kontakt nullilähedane, kuni hooldus sinna juurde arvata. Vahe on olemas, kuid see sõltub täielikult sellest, kui suur osa kontaktidest on üldse boti jaoks lahendatavad, ja seda saab teada ainult oma logidest.

Mõõtelaud, mida saab üle võtta

Üheksa mõõdikut, millega automaatset klienditugu jooksvalt juhitakse. Lävendid on selle näidismõõtelaua algsed sihtväärtused, mitte seadus.

Kaks neist nõuavad tööd, mida ei saa automatiseerida: vale vastuse määr ja üleandmise õigsus. Ülejäänud seitse saab logidest välja arvutada. Kui aega on vähe, hoia käigus kolm: kontrollitud lahendusmäär, korduskontakt ja vale vastuse määr. Ülejäänud on järeldused.

Enne avaldamist kaks nädalat baasjoont

Ilma baasjooneta ei saa hiljem öelda, kas number paranes või lihtsalt muutus mõõtmise viis. Kaks nädalat enne boti avaldamist loe käsitsi kokku neli asja: kontaktide arv kanali kaupa, pöördumise lahendamiseks kuluv aeg, korduvate teemade osakaal ja kellaajad, mil kontakte tuleb kõige rohkem.

Neljas on praktilisem kui esimene. Kui pooled kontaktid tulevad väljaspool tööaega, on automaatse klienditoe tegelik kasu kättesaadavus, mitte raha. See on ka ainus argument, mis peab vastu ka siis, kui palgatõus teeb inimkontakti veel kallimaks või kui platvormi hind muutub.

Kui tahad, et vaataksin sinu klienditoe numbrid üle enne otsust, saada kontaktide arv kuus, keskmine pöördumise lahendamiseks kuluv aeg ja viis sagedasemat teemat. Sellest piisab, et öelda, kas chatbot tasub end ära ja millise mõõdikuga seda hiljem tõestada.