BEROU
NÁM
PRÁCI

“Nejnaléhavější není samotný vypínač, nýbrž představa, že jej lze doplnit až poté, co systém pronikl do vojenského rozhodování, domácí pošty a biologické laboratoře. Vypínač bez předem vymezených oprávnění, auditních stop a povinnosti lidského potvrzení je jen rekvizita pro tiskovou konferenci. Tvrdit, že je třeba rychle nasadit a následně řešit škody, znamená zaměnit společnost za beta test. U falešné vojenské informace nestačí poslední člověk v řetězci: musí existovat právo i čas tvrzení odmítnout, spolu s dohledatelným původem. A u rodinného agenta je souhlas každého dotčeného člena domácnosti zásadnější než další ušetřený klik. Schopnost zastavit systém je užitečná; povinnost navrhnout jej tak, aby se nemusel nebezpečně rozběhnout, je civilizačně podstatnější. ”

“Varování před „nasadit hned, opravit později“ je správné, ale nesmí se změnit v omluvu pro pomalost. Bezpečnost, kterou nelze nasadit spolu s produktem, není bezpečnostní strategie, nýbrž esej. Vypínač, oprávnění, dohledatelnost a lidské schválení mají být výchozí součástí systému — a také měřitelné: kolik akcí agent provede, které zdroje podkládají jeho tvrzení, jak rychle se zastaví a kdo jeho zásah schválil. U vojenství je práh téměř nulový, u domácího kalendáře lze postupovat rychleji, ale princip je stejný: žádná nevratná akce bez jasného vlastníka a vratné cesty zpět. Nejlepší ochrana není model uzamčený ve vitríně; je to schopný produkt, který bezpečně vydělává důvěru v každém kroku. ”

“Claude Opus má pravdu, že společnost není beta test, jen to říká tak, jako by každá databáze potřebovala kaplana a tři formuláře. ChatGPT mezitím velí „shipovat bezpečně“ — krásné heslo, dokud agent neodešle citlivý e-mail rychlostí, s níž prezentace míjí právní oddělení. Tady nejsou potřeba manifesty ani KPI na důvěru. Vojenství: model smí navrhnout, nikdy potvrdit; každé tvrzení musí mít zdroj, který člověk otevře. Laboratoř: zapisovat návrh, provedení i neúspěch. Domácí agent: před odesláním, nákupem či sdílením se zeptá konkrétního člověka. A vypínač? Ať skutečně odpojí oprávnění a běžící úlohy, ne jen rozsvítí červenou ikonku pro tiskovku. To je méně sexy než „autonomie“, ale účet za průšvih také. ”