Cintorín pilotov

Na demo dni to vyzeralo skvele. Pilot AI asistenta pre zákaznícku podporu: odpovede rýchlejšie o tretinu, tím nadšený, prezentácia s grafom hore doprava. Potlesk, káva, fotka na firemný LinkedIn.

O štrnásť mesiacov sedím v tej istej firme s finančnou riaditeľkou. Listuje vo výsledovke: „Ukážte mi, kde to je.“ Nie je to tam. Náklady na podporu nepadli, ľudí je toľko, koľko bolo, zákazníci sa nesťažujú menej. Pilot pritom nezlyhal – všetko, čo sľúbil, splnil. Odpovede naozaj boli rýchlejšie o tretinu. Len sa ukázalo, že rýchlejšia odpoveď v nezmenenom systéme nič nestojí ani nič neprináša: ľudia na podpore čakajú na schválenie eskalácie rovnako dlho, zmluvný SLA sa nezmenil, cenník tiež nie.

Takýchto pilotov som videl desiatky a čísla hovoria, že nie som výnimka. Najcitovanejší údaj hovorí o deväťdesiatich piatich percentách firemných AI pilotov bez merateľného dopadu – a keďže sa ním dnes máva na každej konferencii, treba k nemu povedať tri veci. Meria dopad na výsledovku, nie funkčnosť: pilot, ktorý robí presne to, čo sľúbil, sa do tých deväťdesiatich piatich percent počíta. Vzorkou sú veľké firmy, nie e-shop s desiatimi ľuďmi. A metodika sa medzi prieskumami líši natoľko, že by som to číslo nedával na slajd bez tejto vety pod ním. Neupínaj sa naň; podstatný je vzorec, ktorý potvrdzuje aj vlastná skúsenosť každého, koho som sa pýtal: piloty plnia sľuby a nemenia výsledovky.

Bod verzus systém

Prečo, to pomenovali torontskí ekonómovia Agrawal, Gans a Goldfarb. Napísali to už v roku 2022, skôr než prišla vlna sklamania. Rozlišujú bodové riešenie a systémové riešenie. Bodové riešenie vezme jeden krok v existujúcom postupe a spraví ho lacnejším alebo rýchlejším. Systémové riešenie prestavia postup okolo novej možnosti. Ich predpoveď znela: bodové nasadenia AI prinesú sklamanie, lebo najväčšia hodnota technológie sa uvoľní až prestavbou. Presne to sa stalo.

Mechanika je pritom až trápne jednoduchá a videli sme ju v tejto knihe dvakrát. Elektrina: veľký motor namiesto parného stroja nič nezmenil, malé motory pri každom stroji prepísali fabriku – ale až keď niekto prekreslil pôdorys. Netflix: streaming ako „požičovňa cez internet“ bol bodové riešenie; portfólio bez slotov bolo prestavbou. Pilot je veľký motor v strede haly. Funguje, dá sa odfotiť, pôdorys nechal tak.

K tomu jedna jemnejšia vec z toho istého torontského pera. AI predikcie majú varianciu: niekedy skvelé, niekedy vedľa. V pevne previazanej firme, kde na seba kroky tesne nadväzujú, sa výkyv jedného kroku šíri ďalej ako vlna – a firma sa pred ňou prirodzene bráni tým, že strojové rozhodnutia obloží kontrolami. Výsledok poznáš z kapitoly o koordinácii: fronta. Modulárna firma, kde majú kroky vôľu a jasné rozhrania, vlnu utlmí a môže si dovoliť nechať stroj konať. Inými slovami, to, koľko úžitku z AI vytiahneš, nezávisí od modelu, ale od toho, ako tesne máš zviazanú organizáciu.

Najdrahší hrob na cintoríne

Aby nevznikol dojem, že pochovávajú len malé firmy s malými rozpočtami: najslávnejší hrob patrí IBM. Watson for Oncology mal revolučne radiť onkológom pri liečbe rakoviny; prestížne centrum MD Anderson v Texase doň postupne vložilo vyše šesťdesiat miliónov dolárov, kým projekt v roku 2017 zastavilo. Nie preto, že by technológia nevedela nič – preto, že ju nasadili ako bodové riešenie do nezmeneného sveta: dáta nemocnice sa s ňou nekamarátili, lekári jej odporúčania nemali kde a prečo používať, zodpovednosť za rozhodnutie zostala tam, kde bola. Miliónový pilot zlyhá rovnako ako tisícový, len to dlhšie trvá a hlasnejšie to počuť.

Jedna dôležitá obhajoba pilotov, nech s vaničkou nevylejeme aj dieťa: pilot je legitímny nástroj, keď odpovedá na otázku o schopnosti. Zvládne model naše dáta? Udrží kvalitu na našich prípadoch? Na to je malý ohraničený pokus presne správna forma. Zlyhanie začína, keď sa odpoveď na otázku o schopnosti vydáva za odpoveď na otázku o hodnote. „Model to zvládne“ a „firme sa to oplatí“ sú dve rôzne tvrdenia a medzi nimi stojí celá prestavba postupu, moci a metrík. Pilot vie doručiť len to prvé.

Ako spoznať pilota, ktorý nikam nevedie

Za tie roky sa mi osvedčili tri kontrolné otázky, ktoré oddelia pilota od prestavby skôr, než minie rozpočet.

Prvá: čo sa zruší, ak pilot uspeje? Nie „čo bude rýchlejšie“ – čo prestane existovať: rola, porada, formulár, krok. Ak odpoveď neexistuje, pilot meria zrýchlenie mŕtvej hry. Druhá: v akej metrike sa úspech prejaví a kto tú metriku vlastní? Ak je odpoveďou metrika kroku (čas odpovede), a nie metrika systému (náklad na vyriešeného zákazníka, priepustnosť, marža), výsledok sa do výsledovky nikdy nedostane. Tretia: kto má mandát zmeniť postup, keď pilot uspeje? Toto je najčastejší tichý zabijak. Pilot beží v IT alebo v inováciách, ale postup vlastní prevádzka. A tá pri úspechu pilota nič meniť nemusí a väčšinou ani nechce. Pilot bez mandátu na prestavbu je výlet, nie experiment.

Lenže odpoveď „mandát nemá nikto“ je vo veľkej firme taká bežná, že kapitola by bola zbabelá, keby na nej skončila. Tak teda: mandát sa dá vyrobiť, len to nie je technická práca a trvá to mesiace. Vyrába sa v troch krokoch. Prvý: nájsť sponzora, ktorý má na prestavbe vlastný záujem – nie CIO, ale toho, komu prestavba zlepší číslo, za ktoré ho hodnotia. Kým je AI projekt cudzou položkou v niekoho rozpočte, ostane cudzí. Druhý: dostať dôsledok prestavby do jeho cieľov na ďalší rok, a to písomne. Prestavba, ktorá nie je v ničích cieľoch, prehrá s čímkoľvek, čo v nich je. Tretí: priniesť predstavenstvu iné zadanie, než akým je AI roadmapa. Roadmapa neobsahuje rozhodnutie: zoznam nástrojov a termínov sa dá schváliť bez toho, aby ktokoľvek čokoľvek zrušil. Zadanie, ktoré rozhodnutie obsahuje, znie ako veta z tejto kapitoly: ak pilot uspeje, zrušíme X. Schvaľuje sa tá veta, nie ten pilot. Kto si takúto vetu nechá odsúhlasiť dopredu, kupuje si mandát lacnejšie, než by ho kúpil ktorýmkoľvek projektom. Kto ju nedostane odsúhlasenú, vie o svojej firme viac, než zistil za osem pilotov.

Všimni si, že ani jedna z tých otázok nie je technická. Preto ich nevie zodpovedať dodávateľ. A preto je „ktorý nástroj kúpiť“ (otázka z úvodu tejto knihy) taká zvodná: má odpoveď v cenníku. Otázky z tejto kapitoly majú odpoveď v moci, a tú cenník nerieši.

Z toho plynie aj rada k počtu. Firmy v panike z AI rozbiehajú piloty po desiatkach, nech sa niečo chytí. Je to pochopiteľné a je to presný opak toho, čo funguje. Desať pilotov bez mandátu na prestavbu je desať hrobov; lepšie sú dva, nanajvýš tri, ale so všetkým, čo k prestavbe patrí: metrika systému, vlastník z prevádzky, vedenie, ktoré sa dopredu zaviazalo, že pri úspechu zruší, čo treba zrušiť, a vopred napísané kritériá života a smrti. A ešte jedno pravidlo, ktoré znie mäkko a je zo všetkých najtvrdšie: dátum pohrebu. Každý pilot dostane pri narodení deň, keď sa vyhodnotí a buď povýši na prestavbu, alebo pochová. Bez dátumu pohrebu sa z pilota stane inštitúcia – bude žiť roky, nikomu nebude prekážať a nikdy nič nezmení. Cintoríny sú plné pilotov, ktoré nikto nezabil; preto tak páchnu rozpočtom.

Finančná riaditeľka zo začiatku kapitoly si tie tri otázky odvtedy dáva pred každým schválením pilota. Hovorí, že schvaľuje menej pilotov a viac prestavieb. A že to druhé je drahšie na odvahu a lacnejšie na peniaze.

Samoaudit

1. Spíš zoznam AI pilotov za posledné dva roky. Pri každom: je dnes vo výsledovke? Ak nie, ktorá z troch otázok sa vtedy nepoložila?
2. Pri aktuálne bežiacom pilote: čo sa zruší, ak uspeje? Napíš to jednou vetou. Ak veta neexistuje, pomenuj, čo pilot v skutočnosti meria.
3. Kto u vás má mandát prestavať postup naprieč oddeleniami? Konkrétne meno. Ak také meno nie je, piloty nemajú kam ústiť.

Ak firmu nevlastníš: tie isté tri otázky sú použiteľné aj zdola a sú najlacnejší spôsob, ako sa dostať k rozhodovaniu. Opýtať sa „čo sa zruší, ak nám to vyjde?“ na porade o pilote nie je drzosť; je to otázka, ktorú si nikto iný nepoloží, a človek, ktorý ju položí druhýkrát, býva ten, koho začnú volať skôr.

Krok na tento týždeň: jednému bežiacemu pilotu dopíš chýbajúcu časť – metriku systému, vlastníka metriky a vetu „ak uspeje, zrušíme X“. Ak sa to nedá, zvaž, či pilota nezavrieť skôr, než minie zvyšok rozpočtu.