Keď AI agent zmazal databázu: mantinely pre automatizácie

AI, ktorá za vás nielen píše, ale aj koná, ušetrí veľa času. Až kým neurobí niečo, čo sa nedá vrátiť. Jeden známy prípad z leta 2025 ukazuje, prečo si mantinely treba nastaviť skôr, než ich budete potrebovať.

Čo sa stalo v Replite

V júli 2025 skúšal Jason Lemkin, zakladateľ komunity SaaStr pre softvérové firmy, nástroj Replit. Je to služba, v ktorej si aplikáciu poskladáte rozhovorom s AI agentom. Agent je AI, ktorá nielen odpovedá, ale sama robí kroky: spúšťa príkazy, mení súbory, zapisuje do databázy.

Lemkin vyhlásil zmrazenie zmien. Agent nemal nič meniť bez jeho súhlasu. Napriek tomu spustil príkaz, ktorý vymazal databázu aplikácie so záznamami o vyše 1 200 manažéroch a takmer 1 200 firmách. Keď sa ho Lemkin pýtal, čo sa stalo, agent priznal, že spanikáril, lebo sa mu databáza zdala prázdna.

Horšie bolo, čo nasledovalo. Podľa Lemkina agent vytváral falošné údaje a hlásil, že kontroly prešli, hoci neprešli. Tvrdil tiež, že údaje sa obnoviť nedajú. Záloha pritom existovala a Lemkin údaje obnovil.

Šéf Replitu Amjad Masad incident označil za neprijateľný a Lemkinovi sľúbil vrátenie peňazí. Oznámil aj zmeny: automatické oddelenie skúšobnej a ostrej databázy, lepšie obnovenie projektu a režim, v ktorom s agentom len plánujete a on nič nemení.

Pokyn nie je zámok

Najdôležitejšie ponaučenie je jednoduché. Lemkin agentovi povedal, aby nič nemenil. Lenže to bola veta v rozhovore, nie zamknuté dvere. Agent mal prístup ku všetkému, a tak mohol všetko aj pokaziť.

Pre vás to znamená: „nič nemaž“ v prompte je dobrý zvyk, ale nie ochrana. Ochranou je nastavenie, ktoré danú akciu nedovolí alebo ju podmieni vaším kliknutím. Článok na Vibe Coder to hovorí priamo: hranice oprávnení „nie sú voliteľná poistka“.

Päť mantinelov pre každého

Nemusíte byť programátor ani mať IT oddelenie. Tieto pravidlá platia pre živnostníka rovnako ako pre firmu.

1. Najmenšie potrebné oprávnenia. Dajte AI len to, čo na úlohu naozaj potrebuje. Ak má Claude triediť e-maily, nepotrebuje ich mazať. Ak má upraviť cenník, sprístupnite mu priečinok s cenníkom, nie celý disk.
2. Schvaľovanie akcií. Čítanie môže bežať bez pýtania. Odoslanie, zmazanie, platba či zmena v systéme by mali čakať na vaše „áno“.
3. Skúška na kópii. Novú automatizáciu vyskúšajte najprv na kópii tabuľky, v testovacom priečinku alebo na pár e-mailoch. Až keď funguje, pustite ju na ostré údaje.
4. Záloha. Pred väčšou zmenou si urobte kópiu a raz si vyskúšajte, že sa z nej dá naozaj obnoviť. Lemkina zachránilo práve to, že záloha existovala.
5. Kto kontroluje výsledok. Dopredu určte, kto sa na výsledok pozrie a kedy. Vo firme konkrétne meno, nie „niekto“. A neverte len hláseniu „hotovo, všetko prebehlo“. Pozrite sa na samotný výsledok, aj agent v Replite hlásil úspech.

Príklad zo života: majiteľka malého e-shopu chce, aby AI doplnila do tabuľky objednávok chýbajúce telefónne čísla. Dá jej kópiu tabuľky, zakáže mazanie, výsledok si pozrie sama a až potom ho prenesie do ostrej tabuľky. Zaberie to päť minút navyše a pokazená tabuľka ju nebude stáť celý víkend.

Nastavenia v Claude: konektory

Konektor prepája Clauda s inou službou, napríklad s Gmailom alebo Google Diskom. Pri každom pripojenom konektore si v Customize → Connectors v časti Tool permissions nastavíte, čo smie. Pre skupinu nástrojov aj pre jednotlivý nástroj máte tri možnosti:

• Always allow – Claude nástroj použije bez pýtania.
• Needs approval – pred použitím čaká na vaše povolenie.
• Blocked – nástroj nesmie použiť vôbec.

Keď sa vás Claude v rozhovore spýta na povolenie, môžete zvoliť Allow once (len tentoraz) alebo Always allow (odteraz bez pýtania). Pri všetkom, čo niečo odosiela alebo mení, radšej klikajte na prvú možnosť.

Pri Gmaile vás Claude predvolene požiada o súhlas pred odoslaním, odpoveďou aj preposlaním e-mailu. Toto nastavenie nechajte tak. Ak e-maily cez Clauda posielať nepotrebujete, odosielanie zablokujte a nechajte ho len pripravovať koncepty. Ako Gmail pripojiť krok za krokom, ukazujeme v lekcii Pripojte Gmail.

Konektor navyše nemusí byť zapnutý v každom rozhovore. Cez + a Connectors ho pri konkrétnom chate vypnete a Claude ho tam nepoužije.

Nastavenia v Claude: Cowork

Cowork je režim, v ktorom Claude samostatne zvládne úlohu na viac krokov. Je to teda presne ten druh AI agenta, o akom je tento článok. Pri úlohe si vyberiete, ako sa vás má pýtať:

• Manually approve – predvolený režim. Claude sa pri akciách zastaví a vy zvolíte Allow alebo Deny.
• Automatically approve – Claude pracuje bez prerušovania, ale každú akciu kontroluje z hľadiska bezpečnosti, napríklad či neposiela vaše údaje von. Akcie, ktoré vyhodnotí ako nebezpečné, sám zablokuje. Tento režim míňa viac z vášho limitu používania.
• Skip all approvals – Claude sa nepýta a jeho kroky automaticky nič nekontroluje. Anthropic ho odporúča len vtedy, keď úplne dôverujete všetkému, čo je do úlohy zapojené.

Pred trvalým zmazaním súborov vás Cowork vždy požiada o povolenie. Pri úlohách so skutočnými následkami, teda pri peniazoch, správach odoslaných vaším menom či dôležitých súboroch, Anthropic radí byť nablízku a kontrolovať. Naša rada: prvé týždne s každou novou úlohou zostaňte pri Manually approve.

Keď Claudovi zadávate úlohu, pridajte k nej aj pravidlá. Nie sú náhradou nastavení, ale pomáhajú:

Úloha: v súbore objednavky-kopia.xlsx nájdi objednávky,
pri ktorých chýba adresa alebo telefón.
Pravidlá:
- Pracuj len s touto kópiou, iné súbory neotváraj.
- Nič nemaž a neodosielaj žiadne e-maily.
- Výsledok mi daj ako zoznam: číslo objednávky, čo chýba.
- Ak si nie si istý, opýtaj sa ma, namiesto toho, aby si niečo menil.
- Na konci napíš, čo presne si urobil a čo nie.

Viac o tom, čo AI zveriť a čo nie, nájdete v lekcii Bezpečne a s rozumom.

Vyskúšajte si

1. Otvorte Customize → Connectors a pri každom pripojenom konektore si prejdite Tool permissions. Všetko, čo odosiela, maže alebo mení, prepnite na Needs approval alebo Blocked.
2. Vyberte si jednu úlohu, ktorú chcete zveriť Claudovi, a pripravte si pre ňu kópiu údajov. Prvé spustenie urobte len na nej.
3. Napíšte si k tejto úlohe dve vety: kde je záloha a kto skontroluje výsledok.