Tretia útecha – rámcovanie

Vraj raz kohosi napadlo spýtať sa Einsteina, čo by robil, keby mal na záchranu sveta hodinu. Odpovedal, že päťdesiatpäť minút by hľadal správnu otázku a päť minút by stačilo na odpoveď.

Ten citát je vymyslený. Bádatelia ho vystopovali do šesťdesiatych rokov, k nemenovanému profesorovi z Yale, a Einstein s ním nemá nič spoločné. Nechávam ho tu zámerne, aj s priznaním: je to ideálny vstup do kapitoly o tom, že znieť dobre a byť pravdou sú dve rôzne veci – a že práve schopnosť rozoznať jedno od druhého je možno to, čo zostane vzácne.

Tretia útecha totiž znie: stroj odpovedá, človek sa pýta. Vzácne bude rámcovanie – definícia problému, výber premenných, určenie hraníc. Z troch útech je táto najbližšie k pravde. Aj ona si však zaslúži tlak, nie potlesk.

Zubatá hranica

Najdôležitejší experiment o práci s AI, aký zatiaľ máme, prebehol v konzultačnej firme BCG na vzorke sedemstopäťdesiatich ôsmich konzultantov. Časť z nich dostala k úlohám GPT-4, časť nie. Na úlohách, ktoré ležali v silách modelu, boli ľudia s AI výrazne lepší: kvalita výstupov stúpla o štyridsať percent. Potom výskumníci zadali úlohu zámerne postavenú tak, aby v nej model zvádzal k presvedčivej, ale nesprávnej odpovedi. Na tej istej vzorke ľudí klesla úspešnosť používateľov AI o devätnásť percentuálnych bodov pod úroveň kolegov bez AI. Ten istý nástroj, tí istí ľudia. Rozdiel robila jediná vec: či úloha leží pred hranicou schopností modelu, alebo za ňou.

Autori tomu hovoria zubatá hranica. Nie je to čiara medzi ľahkým a ťažkým; model zvláda veci, ktoré ťažké sú, a padá na veciach, ktoré vyzerajú triviálne. Hranicu nevidno a s každou generáciou modelov sa posúva. Jediné, čo pomáha, je vedieť, že existuje, a úlohu rámcovať tak, aby sa dalo overiť, na ktorej strane práve stojí.

Druhý experiment hovorí to isté z inej strany, hoci je oveľa menší, a treba to povedať dopredu: šestnásť skúsených programátorov, dvestoštyridsaťšesť reálnych úloh vo vlastných projektoch, náhodne s AI alebo bez. S AI boli o devätnásť percent pomalší – a pritom boli presvedčení, že sú o pätinu rýchlejší. Zle zarámovaná nebola úloha; zle zarámované bolo očakávanie: nástroj, ktorý pomáha inde, tu potichu pridával prácu navyše, a nikto to necítil. Pre poriadok dve výhrady. Pri šestnástich ľuďoch je to signál, nie zákon. Porovnaj so vzorkou z BCG. A nadväzujúce meranie o rok neskôr s novšími nástrojmi vyšlo opačným smerom. Interval bol však taký široký, že sa z neho nedá čítať veľkosť efektu, len to, že sa hranica pohla. O to väčší dôvod merať, nie veriť. A merať znova každý rok.

A tretie meranie, drobnosť, ktorá by mala visieť nad každým stolom: v inom výskume stačilo zmeniť formát zadania (nie obsah, formát) a presnosť modelu sa pohla až o desiatky percentuálnych bodov. Otázka nie je obal odpovede. Otázka je súčasť stroja.

Z tých troch meraní plynie pravidlo, ktoré sa mi vypláca viac než akýkoľvek kurz promptovania: rám musí obsahovať aj spôsob overenia. AI totiž najviac potrebuješ presne tam, kde jej výstup najmenej vieš skontrolovať – cudzí odbor, cudzí jazyk, cudzie dáta. A presne tam je najnebezpečnejšia. Preto sa pri každej úlohe za zubatou hranicou oplatí vopred rozhodnúť, ako sa odpoveď dá lacno preveriť: druhým nezávislým výpočtom, vzorkou skontrolovanou človekom, testom na malom kúsku reality. Úloha bez plánu overenia nie je zadanie, je to prosba o sebavedomú odpoveď.

Prečo je hojnosť nepriateľ

Teraz širší dôvod, prečo sa vzácnosť sťahuje k otázke. Keď odpoveď stála tisíc eur a týždeň času, zlá otázka bolela okamžite: minul sa rozpočet a nebolo čo ukázať. Bolesť bola spätná väzba. Keď odpoveď stojí centy a minúty, zlá otázka nebolí. Model ochotne vyrobí tisíc odpovedí na otázku, ktorú nikto nemal položiť, a všetky budú vyzerať hotovo: grafy, tabuľky, sebavedomý tón. Firma sa zavalí výstupmi a rozhoduje sa horšie než predtým, lebo kontrola kvality sedela v cene, a cena zmizla.

Poznám to zblízka. Najhoršie týždne s AI v mojej vlastnej práci neboli tie, keď model zlyhával. Boli to tie, keď bezchybne a rýchlo riešil niečo, čo som vôbec nemal riešiť. Raz som strávil väčšinu týždňa ladením funkcie, ktorú si nikto nepýtal – išlo to tak hladko, že mi nenapadlo zastaviť sa. Pri starej cene práce by ma zastavil rozpočet po prvom dni. Hojnosť nezvyšuje nároky na produkciu, tá je vyriešená. Zvyšuje nároky na optiku: čo je problém, čo je premenná, čo je hranica, čo je hotovo.

Ako potom vyzerá dobrý rám? Za tie roky som skončil pri štyroch otázkach, na ktorých trvám pred každou väčšou úlohou, či ju robí človek, alebo model. Čí je to problém a ako spoznáme, že zmizol? Čo je zámerne mimo hry? Podľa čoho sa pozná hotovo – nie „pekné“, hotovo? A ako lacno sa dá zistiť, že sme vedľa? Nič z toho nie je veda. A predsa: keď sa rám nezmestí na pol strany, úloha nie je pripravená pre nikoho, ani pre stroj. Model bez rámu nie je pomocník, je to generátor sebavedomých omylov na počkanie.

K tomu jeden starší, ale krásny dôkaz z úplne iného sveta. Výskumníci v sedemdesiatych rokoch sledovali študentov umenia pri práci so zátiším. Časť z nich rýchlo začala kresliť; časť dlho prehadzovala predmety, skúšala uhly, hľadala, čo vlastne nakresliť. Práve tí druhí tvorili diela hodnotené ako originálnejšie – a o roky neskôr z nich boli výrazne úspešnejší umelci. Formulovanie problému nebolo zdržanie pred prácou. Bola to tá práca.

Čo z útechy zostáva

Tretia útecha prežila tlak najlepšie, ale zmenila tvar. Neprežilo „pýtať sa je ľudská výsada“ – modely si už dnes vedia klásť pomocné otázky samy a bude to len lepšie. Prežilo niečo užšie a cennejšie: zodpovednosť za rám. Niekto musí rozhodnúť, ktorý problém sa rieši, čo sa počíta ako úspech a kde model nemá čo robiť, lebo úloha leží za zubatou hranicou. Toto rozhodnutie sa nedá delegovať, lebo je to rozhodnutie o tom, čo sa deleguje.

Tri útechy spolu teda dávajú zvláštny obraz: úsudok o riešení padá, prognóza padá, rámcovanie sa drží, ale samo nestačí. Ako sa tie kúsky skladajú do niečoho, čo sa dá vo firme postaviť, je téma kapitoly o architektúre učenia.

Samoaudit

Koľko času u vás ide do formulácie problému a koľko do výroby odpovedí? Odhadni pomer pri poslednom veľkom projekte.
Kto smie povedať „riešime zlú otázku“ – a kedy to naposledy niekto nahlas povedal?
Pri ktorej úlohe ste naposledy narazili na zubatú hranicu: model znel sebavedomo a mýlil sa? Ako ste na to prišli – a ako skoro?

Ak firmu nevlastníš: štyri otázky dobrého rámu sú nástroj, na ktorý nepotrebuješ ničí súhlas. Použi ich na najbližšie zadanie, ktoré dostaneš – a to, čo v ňom chýba, si vypýtaj skôr, než začneš. Vypýtať si kritériá nie je otravovanie; je to práca.

Krok na tento týždeň: vezmi jednu úlohu, ktorá práve beží, a prepíš jej zadanie tromi rôznymi spôsobmi. Porovnaj, čo model vráti. Rozptyl výsledkov ti ukáže, koľko z tvojho výsledku sedí v ráme, nie v nástroji.