Prvá útecha – úsudok

Zasadačka marketingovej agentúry, pondelok ráno. Na obrazovke desať konceptov kampane; model ich cez víkend vyrobil za cenu jednej kávy. Kreatívna riaditeľka ide radom: tento nie, tento nie, tento má niečo, tento nie. Tím prikyvuje. Keď skončí, oprie sa a povie vetu, ktorú odvtedy počúvam v rôznych obmenách všade: „Vidíte, presne po toto za nami klienti chodia. Stroj vyrába, ale vybrať musí človek.“

V miestnosti to znelo ako upokojenie. Mne to znelo ako veta, ktorú treba preveriť skôr, než sa na nej postaví cenník.

Keď vzácnosť zomiera, prvá otázka znie: čo bude vzácne namiesto nej? Na stole sú tri pohodlné odpovede. Táto a nasledujúce dve kapitoly ich postupne vyskúšajú na pevnosť. Hovorím im útechy, lebo každá z nich človeku necháva trón. A presne preto im tak radi veríme.

Prvá útecha znie: stroj vyrába, človek vyberá. AI vygeneruje sto návrhov, sto analýz, sto verzií kampane, ale rozhodnúť, ktorá stojí za to, vie len človek. Vzácny bude úsudok.

Znie to dobre. Počuť to na každej konferencii a priznám sa, že istý čas som to hovoril klientom aj ja. Má to jednu chybu: predpokladá, že generovanie a hodnotenie sú dve rôzne schopnosti a stroj má len tú prvú. Lenže hodnotenie je tiež úloha. A úlohy sú presne to, čo AI požiera.

Stroj, ktorý známkuje

Fakty najprv. Keď sa meralo, ako sa hodnotenia GPT-4 zhodujú s hodnoteniami ľudí, vyšla zhoda nad osemdesiat percent. Znie to ako „celkom dobré, ale človek je lepší“? Pozor: zhoda dvoch ľudí medzi sebou bola osemdesiatjeden percent. Stroj sa teda s ľuďmi zhoduje zhruba rovnako ako ľudia navzájom. A hodnotenie tisícok odpovedí, na ktoré by hodnotiteľská agentúra potrebovala týždne, stojí pár dolárov a beží hodinu.

A cena? Jeden z akademických rebríčkov modelov nahradil drahý panel ľudských hodnotiteľov automatickým sudcom; zhoda s ľudským poradím vyšla tesne pod dokonalosťou a celé hodnotenie stálo menej než desať dolárov a trvalo pár minút. Desať dolárov za prácu, ktorú by komisia robila týždne. Pri takomto pomere sa otázka „je stroj rovnako dobrý hodnotiteľ ako človek“ mení na inú: pri ktorých rozhodnutiach si ešte môžeme dovoliť človeka?

Prvá útecha v tejto chvíli stráca pôdu. Ak model vie návrhy nielen vyrobiť, ale aj zoradiť, okomentovať a vybrať najlepší, potom „človek vyberá“ nie je trvalá výhoda. Je to dočasná neefektivita, ktorá čaká na odstránenie.

V mojich vlastných produktoch sa to už stalo. Texty, ktoré generuje jeden model, kontroluje druhý: fakty proti podkladom, tón proti zadaniu, štruktúru proti pravidlám. Človek vidí len prípady, kde si kontrola nie je istá – zlomok celku. Pred tromi rokmi by tú kontrolu robil zamestnanec na plný úväzok. Tá rola nezmizla, posunula sa o poschodie vyššie. Ten človek dnes namiesto známkovania jednotlivých textov píše pravidlá, podľa ktorých známkuje stroj, a rieši prípady, kde pravidlá nestačia. O tom, či je to výhra, alebo prehra pre ľudí, budeme hovoriť v druhej polovici knihy. Tu je podstatné, že výber ako činnosť zlacnel rovnako ako výroba.

Kde stroj známkuje zle

Bola by to však lacná kapitola, keby skončila tu. Strojové hodnotenie má zdokumentované diery a sú poučné.

Prvá: dá sa oklamať poradím. V jednom experimente stačilo prehodiť poradie dvoch odpovedí a slabší model zrazu „porážal“ silnejší vo väčšine otázok. Hodnotiteľ, ktorého zmätie, čo číta prvé, nie je sudca, je slabý bod.

Druhá: stroj nadŕža sám sebe. Modely systematicky lepšie hodnotia výstupy, ktoré sa podobajú na ich vlastné. Hodnotiteľ s takýmto konfliktom záujmov by pri ľudskom výbere nesmel sedieť v komisii.

Tretia a najdôležitejšia: novosť. V experimente, kde experti aj AI navrhovali výskumné nápady a iní experti ich naslepo hodnotili, vyšlo čosi nečakané: nápady od AI pôsobili novšie. Lenže keď sa časť nápadov skúsila zrealizovať, tie „novšie“ dopadli horšie, než sľubovali známky. A samotné modely sa pri hodnotení novosti s expertmi rozchádzali natoľko, že autori štúdie ich odmietli označiť za spoľahlivých hodnotiteľov. Stroj známkuje výborne to, čoho videl milión príkladov. Tam, kde sa rozhoduje o niečom, čo ešte nikto nevidel, známkuje sebavedomo a zle.

Ktorý úsudok predávaš

Takže úsudok áno či nie? Zlá otázka; treba rozrezať samotný úsudok. Ekonómovia z Toronta, ktorí o predikčných strojoch píšu najdlhšie, ho režú takto a mne sa ten rez v praxi osvedčil: rozlíš úsudok o riešení od úsudku o príležitosti.

Úsudok o riešení znie: máme problém, ktorá z možností ho rieši najlepšie? To je hodnotenie v známom priestore. Presne tam je stroj čoraz lepší a spoliehať sa na trvalú prevahu človeka je hazard.

Úsudok o príležitosti znie: čo vôbec stojí za riešenie? Ktorý problém je ten pravý, čo je v hre, čoho sa vzdať? To nie je výber z možností; to je rozhodnutie, ktorým smerom sa vôbec pozerať. Často proti dátam, lebo dáta opisujú včerajšok. Tento úsudok zostáva doplnkom stroja: čím lacnejšie je generovanie a hodnotenie možností, tým cennejší je ten, kto určí, v akom priestore sa hľadá.

V praxi sa tie dva úsudky dajú rozoznať podľa jednoduchého testu: existuje zadanie? Ak sa dá napísať, čo je dobrá odpoveď (kritériá, stupnica, príklady), ide o úsudok o riešení a je otázkou času, kedy ho prevezme stroj. Vlastne tým, že kritériá napíšeš, ten prenos práve začína: stupnica je program. Úsudok o príležitosti sa spozná podľa toho, že zadanie neexistuje a písať ho znamená už rozhodovať. Nikto ti nedá kritériá na otázku, či má tvoja firma vstúpiť na nový trh; výber kritérií je to rozhodnutie.

Prvá útecha teda neprežila v pôvodnom znení, ale nezomrela celá. Prežilo z nej toto: hranica medzi úsudkom, ktorý stroj preberá, a úsudkom, ktorý zostáva tebe, existuje – ale hýbe sa, a hýbe sa jedným smerom. Firma, ktorá svoju cenu stavia na „my vyberáme lepšie“, potrebuje vedieť povedať, ktorý z tých dvoch úsudkov predáva. Ak úsudok o riešení, stavia na ľade.

Praktický dôsledok pre každého, kto chce hranicu vidieť namiesto hádania: postav modelu vlastnú skúšku. Vezmi dvadsať úloh z reálnej prevádzky, pri ktorých poznáš správnu odpoveď alebo aspoň verdikt dobrého odborníka. Nechaj ich vyriešiť a ohodnotiť modelom, potom porovnaj. Tam, kde sa zhoduje s tvojím odborníkom, máš kandidáta na presun; tam, kde sebavedomo strieľa vedľa, máš zmapovaný kus zubatej hranice, ku ktorej sa dostaneme v kapitole o rámcovaní. Dôležité je skúšku opakovať pri každej novej generácii modelov – hranica sa hýbe a minuloročné „toto stroj nevie“ je najdrahšia veta vo firme.

Samoaudit

Kde presne vo firme sedí úsudok, za ktorý zákazníci platia? Pomenuj ho jednou vetou. „Máme skúsenosti“ sa nepočíta.
Je to úsudok o riešení (výber z možností), alebo o príležitosti (čo vôbec riešiť)? Aký podiel tržieb visí na tom prvom?
Čo by sa stalo s cenníkom, keby si zákazník vedel možnosti vygenerovať aj ohodnotiť sám?

Ak firmu nevlastníš: prejdi si vlastný týždeň a rozdeľ ho na tie dva úsudky. Koľko hodín ide do výberu z možností, ktoré ti niekto zadal, a koľko do rozhodovania, čo sa vôbec má riešiť? Pomer je tvoja predpoveď na tri roky – presnejšia než akýkoľvek kariérny test.

Krok na tento týždeň: vyber jednu úlohu, pri ktorej dnes niekto vyberá z možností. Nechaj model možnosti vyrobiť aj zoradiť a porovnaj jeho poradie s poradím tvojho človeka. Rozdiel ti povie, na ktorej strane hranice tá úloha stojí.