Druhá útecha – predikcia

V Microsofte kedysi jednému inžinierovi napadlo, že reklamné titulky vo vyhľadávači Bing by sa mohli zobrazovať trochu inak – dlhší titulok, spojený s riadkom pod ním. Drobnosť. Nápad skončil v zásobníku ako nízka priorita a preležal tam vyše pol roka; expertom nestál za čas vývojárov. Keď sa k nemu konečne dostali, spustili test. V priebehu hodín sa ozval automatický poplach, ktorý sa spúšťa pri výsledkoch príliš dobrých na to, aby boli pravdivé: systém si myslel, že sa pokazilo meranie. Nepokazilo. Tržby stúpli o dvanásť percent, zhruba sto miliónov dolárov ročne. Najlepší nápad v histórii produktu strávil vyše pol roka v šuplíku s nálepkou „nezaujímavé“.

Nikto v tom príbehu nebol hlúpy. Práve naopak: boli to platení experti na predpovedanie hodnoty nápadov. A presne to je problém.

Druhá útecha znie: dobre, výber možno prevezme stroj, ale niekto musí vidieť dopredu. Vzácny bude ten, kto správne predpovie, čo zaberie: trh, produkt, kampaň. Skúsenosť, nos, cit. Táto útecha má oproti prvej jednu nevýhodu: dáta o nej existujú desaťročia a sú zdrvujúce.

Ako často sa mýli nos

Microsoft roky meral, čo sa stane, keď o nápadoch jeho ľudí rozhodne riadny test namiesto odhadu na porade. Výsledok: zhruba tretina nápadov metriky zlepšila, tretina nič nezmenila a tretina ich zhoršila. Nápady, ktoré prešli poradami, obhajobami a zoraďovaním podľa priorít. Dve tretiny z nich boli v najlepšom prípade zbytočné. Na vyladenom produkte, ako je vyhľadávač Bing, uspelo len desať až dvadsať percent nápadov. Ronny Kohavi staval experimentálne systémy v Microsofte aj v Amazone. Z firiem, ktoré testujú poctivo, uvádza rozpätie sedemdesiat až deväťdesiat percent nápadov bez efektu alebo so záporným efektom. Rozpätie je široké preto, že každá firma si „efekt“ meria po svojom; drž sa rádu, nie desatín.

Budúcnosť sa predpovedá zle aj najlepším – len to väčšina firiem nemá zmerané, takže sa mýli s čistým svedomím. Firmy, ktoré to zmerané majú, z toho vyvodili dôsledok. Booking.com má naraz spustených vyše tisíc testov a ročne ich spraví vyše dvadsaťpäťtisíc. Amazon, Google aj Meta robia desaťtisíce experimentov ročne. Nie preto, že by nemali expertov. Preto, že pokus je lacnejší a spoľahlivejší než prognóza.

A nejde len o webové tlačidlá veľkých platforiem. Randomizovaná štúdia na stovke talianskych startupov ukázala, že zakladatelia, ktorých naučili formulovať a testovať hypotézy ako vedci (domnienka, predpoveď, meranie, verdikt), zarábali viac a rýchlejšie zabíjali zlé projekty. Replikácia na ďalších stovkách firiem to potvrdila. Nešlo o technológiu; išlo o disciplínu priznať, že názor je hypotéza.

Tu býva námietka slovenského podnikateľa: my nemáme milióny používateľov, na čom máme testovať? Na tom istom, na čom sa dnes rozhoduje od stola. E-shop vie testovať predmety e-mailov, poradie ponúk, dve verzie cenníka. Výrobca vie zavolať desiatim zákazníkom s dvomi opismi novej služby skôr, než ju postaví. Agentúra vie poslať dve rôzne ponuky dvom poloviciam zoznamu. Test nezačína pri veľkých dátach; začína pri vete „toto je len môj odhad a dá sa overiť lacnejšie, než ho zrealizovať“. Malá vzorka dáva hrubý signál, ale hrubý signál je stále viac než sebavedomie.

AI ten rozdiel ešte zväčšuje. Keď prototyp, kampaň či analýzu vyrobí model za hodinu, cena pokusu padá k nule – a s ňou hodnota človeka, ktorého jediná rola je hádať vopred, čo zaberie. Programový riaditeľ televízie bol majster predikcie. Streaming z jeho remesla urobil portfólio pokusov. To isté sa práve deje s každou rolou, ktorej jadrom je odhad.

Jedno rozlíšenie si však ustráž, lebo na ňom stroskotáva veľa firiem: pokus nie je pilot. Pilot je, keď sa niečo „vyskúša“ pol roka bez vopred určenej metriky a na konci sa porada dohodne, že to „malo prínosy“. To nie je test, to je divadlo s odloženou premiérou. Pokus má tri povinné časti, všetky dohodnuté vopred: predpoveď (čo presne sa zlepší a o koľko), metriku (na čom to odčítame) a termín verdiktu (kedy povieme, či žije, alebo zomrie). Chýba jedna z nich? Nie je to pokus. V mojej praxi je toto najčastejší rozdiel medzi firmou, ktorá sa naučila experimentovať, a firmou, ktorá sa na to len hrá: obe „testujú“, ale len jedna vie prehrať.

Dvere, ktoré sa zatvárajú

Takže experimentovať namiesto premýšľania? Nie. Aj druhá útecha obsahuje pravdivé jadro a treba ho vyrezať presne.

Testovať sa dá to, čo je vratné. Jeff Bezos tomu hovorí obojsmerné dvere: rozhodnutia, z ktorých sa dá vrátiť, treba robiť rýchlo a bez veľkých porád, pokojne pokusom. Ale sú aj jednosmerné dvere. Akvizícia. Prepustenie polovice tímu. Povesť značky. Reštrukturalizácia. Vstup na trh, z ktorého sa nedá lacno odísť. Tam sa A/B test spraviť nedá a cena omylu sa neamortizuje cez ďalších sto pokusov.

Z toho plynie nová deliaca čiara vo firme, dôležitejšia než hranica oddelení: čiara medzi vratným a nezvratným. Všetko vratné patrí do sveta lacných pokusov a malo by sa tam presunúť čo najskôr, lebo každé vratné rozhodnutie, ktoré dnes schvaľuje porada, je plytvanie. A všetko nezvratné si zaslúži plnú váhu úsudku – toho úsudku o príležitosti z kapitoly o úsudku, ktorý stroj nepreberá.

Prečo tá čiara vo firmách chýba? Lebo porada o prognóze nie je len rozhodovací mechanizmus, je to aj divadlo statusu. Kto predpovedá, ten je dôležitý; kto navrhne test, priznáva, že nevie. Celé kariéry stoja na povesti človeka so správnym odhadom. Preto prechod na pokusy nie je technická zmena, ale kultúrna: firma musí začať odmeňovať rýchlo zabité omyly rovnako, ako dnes odmeňuje obhájené rozpočty. Kde sa to podarí, stane sa zvláštna vec: porady sa skrátia, lebo polovica sporov sa dá preložiť do vety „dobre, otestujeme, o dva týždne vieme“.

Ako vyzerajú jednosmerné dvere v bežnej slovenskej firme? Prijať alebo prepustiť kľúčového človeka. Podpísať trojročnú zmluvu s dodávateľom systému, na ktorý sa nabalí celá prevádzka. Zmeniť značku alebo cenovú pozíciu, ktorú si trh pamätá roky. Kúpiť konkurenta. Pustiť do sveta produkt pod vlastným menom skôr, než je hotový. Produkt stiahneš, dôveru nie. A jedna kategória, na ktorú sa v testovacom nadšení zabúda: rozhodnutia, ktoré nezvratnými nerobí trh, ale predpis. Čo raz spracuješ z osobných údajov, nedá sa odspracovať; čo raz nasadíš do procesu pod dohľadom regulátora, nedá sa potichu vypnúť a skúsiť inak. V regulovanom prostredí sa časť dverí, ktoré vyzerajú obojsmerne, zamkne za tebou zvonku. Pri takýchto rozhodnutiach je namieste presný opak testovacej kultúry: spomaliť, zohnať najlepšie dostupné dáta a pred podpisom si spraviť krátku obhliadku vlastnej budúcnosti – o rok to zlyhalo; čo to spôsobilo? Kto na tú otázku odpovedá vetou „nič mi nenapadá“, nepremýšľal dosť dlho.

Paradox druhej útechy: čím viac vratných rozhodnutí presunieš na pokusy, tým vzácnejší je človek, ktorý dobre rozhoduje pri jednosmerných dverách. Prognostikov AI lacno nahrádza. Ľudí, ktorí unesú nezvratné rozhodnutie s neúplnými dátami, nie.

Samoaudit

Vezmi tri veľké rozhodnutia z minulého kvartálu. Ktoré z nich boli v skutočnosti vratné, a aj tak čakali týždne na poradu?
Koľko pokusov mesačne tvoja firma reálne spraví? Nie pilotov na pol roka; pokusov s meraním a verdiktom.
Kto u vás smie povedať „toto sú jednosmerné dvere, spomaľme“ a „toto sú obojsmerné, načo porada“? Existuje na to vôbec slovník?

Ak firmu nevlastníš: vezmi posledný spor, v ktorom tvoj argument stál na odhade. Dal sa preložiť do vety „otestujme to, o dva týždne vieme“? Kto to na porade navrhne prvý, mení tému z toho, kto má pravdu, na to, čo je pravda – a to je vplyv, ktorý nepotrebuje titul.

Krok na tento týždeň: zober jedno rozhodnutie, ktoré práve teraz čaká na schválenie, a over, či je vratné. Ak je, navrhni namiesto porady test s termínom a metrikou.