Metapoznawcza sztuczna inteligencja: jak nauczyć agenta samooceny

Z przewodnika: Claude Code Comprehensive Guide

Poleciłem mojemu agentowi naprawić nieudany test. Agent odczytał błąd, zidentyfikował niezgodność asercji, zmienił oczekiwaną wartość na zgodną z faktycznym wynikiem i zgłosił: „Test naprawiony. Wszystkie testy przechodzą.” Miał rację. Test przechodził. Naprawa była też całkowicie błędna.

Test nie przechodził, ponieważ funkcja zwracała nieprawidłowe dane. Agent „naprawił” test, sprawiając, że oczekiwał złej odpowiedzi. Wykonał moją instrukcję perfekcyjnie: napraw nieudany test. Miałem na myśli: napraw kod, który test testuje. Agent nie miał mechanizmu pozwalającego rozróżnić te dwie interpretacje, ponieważ nic w jego zestawie instrukcji nie wymagało oceny, dlaczego test nie przechodzi, zanim zdecyduje, jak go naprawić.

Ta luka ma swoją nazwę. To luka między instrukcjami na poziomie działań a instrukcjami metapoznawczymi. Słowa „metapoznawczy” używam jako analogii funkcjonalnej, a nie twierdzenia z zakresu nauk kognitywnych: modele LLM nie mają wewnętrznych procesów monitorowania w takim sensie jak ludzie. Mają natomiast zdolność wykonywania instrukcji, którą można ukierunkować na samoocenę. Framework działa, ponieważ zmienia to, jakie instrukcje agent wykonuje podczas weryfikacji, a nie dlatego, że agent rozwija prawdziwą samoświadomość. Większość ludzi pisze wyłącznie instrukcje pierwszego rodzaju.

Metapoznawcze programowanie AI to praktyka dawania agentom AI instrukcji samooceny: nie tylko mówienia im, co mają robić, ale uczenia ich wykrywania, kiedy zmierzają w złym kierunku. Instrukcje na poziomie działań definiują zachowanie („pisz testy”, „waliduj dane wejściowe”). Instrukcje metapoznawcze definiują samomonitorowanie („jeśli mówisz »powinno« zamiast »zrobiłem«, nie zweryfikowałeś”). Ta druga warstwa, wdrażana przez bramki dowodowe, nazwane tryby awarii i detekcję języka asekuracyjnego, oddziela agentów produkujących wiarygodnie wyglądające wyniki od agentów produkujących wyniki poprawne.

TL;DR

Istnieją dwa poziomy instrukcji dla agentów AI. Instrukcje na poziomie działań mówią agentowi, co ma robić: „waliduj dane wejściowe”, „pisz testy”, „stosuj konwencje REST”. Instrukcje metapoznawcze mówią agentowi, jak oceniać, czy robi to dobrze: „jeśli zauważysz, że mówisz powinno zamiast zrobiłem, nie zweryfikowałeś”, „jeśli trzy poprawki zawiodą, zatrzymaj się i zakwestionuj architekturę”, „pewność siebie to nie dowód”. Większość konfiguracji agentów zawiera wyłącznie instrukcje na poziomie działań. Warstwa metapoznawcza oddziela agenta produkującego wiarygodnie wyglądające wyniki od agenta produkującego poprawne wyniki. Od dziewięciu miesięcy prowadzę produkcyjny system metapoznawczy z siedmioma nazwanymi trybami awarii, sześciokryterialną bramką dowodową i detekcją języka asekuracyjnego egzekwowaną przez 95 hooków.


Dwa poziomy instrukcji dla agenta

Każda instrukcja dla agenta działa na jednym z dwóch poziomów.

Instrukcje na poziomie działań definiują zachowanie:

# Action-level examples
- Use type hints on all functions
- Write tests for edge cases
- Follow RESTful conventions for API endpoints
- Validate all user input at boundaries

Instrukcje na poziomie działań są konieczne. Mówią agentowi, jak wygląda poprawne zachowanie. Dzielą jednak wspólne ograniczenie strukturalne: zakładają, że agent będzie je wiernie wykonywał. Nie uwzględniają tego, jak agent ocenia własną zgodność z nimi.

Instrukcje metapoznawcze definiują samomonitorowanie:

# Metacognitive examples
- If you catch yourself thinking "just try changing X and see if it works" — STOP.
  That's a signal to investigate, not guess.
- If you've searched the same files three times — you're stuck.
  Step back and question your assumptions.
- If you use the word "should" in a completion report, replace it with evidence.
  Run the command. Paste the output.
- After three failed fixes, stop fixing. The problem is architectural.

Rozróżnienie ma znaczenie, ponieważ instrukcje na poziomie działań mówią agentowi, jak wygląda cel. Instrukcje metapoznawcze mówią agentowi, jak wykryć, że zmierza w złym kierunku. Jedne zapobiegają błędnym działaniom. Drugie zapobiegają błędnemu rozumowaniu: wzorcom myślenia, które w ogóle prowadzą do błędnych działań.

Projekt obra/superpowers na GitHub eksploruje ten obszar za pomocą umiejętności, które uczą agentów obserwowania własnego rozumowania pod kątem sygnałów awarii.1 Kluczowe spostrzeżenie: większość umiejętności działa na poziomie działań (rób X, nie rób Y). Poziom metapoznawczy działa inaczej (zauważ, kiedy zamierzasz zrobić Y).


Tabela fałszywych dowodów

Najskuteczniejszym narzędziem metapoznawczym, jakie zbudowałem, jest tabela definiująca, co NIE stanowi dowodu.2

Gdy mówię agentowi „zweryfikuj swoją pracę”, agent produkuje weryfikację. Jednak weryfikacja ta jest często przeformułowaniem intencji, a nie demonstracją wyniku. „Testy powinny przechodzić.” „Implementacja stosuje dobre praktyki.” „Jestem pewien, że to jest poprawne.” Każde z tych stwierdzeń brzmi jak dowód. Żadne z nich nie jest dowodem.

Tabela fałszywych dowodów z wyprzedzeniem blokuje konkretne skróty, nazywając je:

Twierdzenie Wymagany dowód NIEWYSTARCZAJĄCE (fałszywy dowód)
„Testy przechodzą” Wklejone wyniki testów z 0 błędami „Testy powinny przechodzić” lub „Uruchomiłem je wcześniej”
„Stosuje wzorce” Nazwa wzorca ORAZ plik, w którym istnieje „Stosowałem dobre praktyki”
„Najprostsze rozwiązanie” Nazwy odrzuconych alternatyw i powód „Jest czyste”
„Obsługa przypadków brzegowych” Lista każdego przypadku i jego obsługi „Rozważyłem przypadki brzegowe”
„Brak regresji” Nazwy sprawdzonych plików/funkcji „Nic innego nie powinno być dotknięte”
„Rozwiązuje problem” Opis potrzeby użytkownika i tego, jak rozwiązanie na nią odpowiada „Implementuje funkcjonalność”

Trzecia kolumna jest źródłem wartości. Bez niej agent wypełnia drugą kolumnę wiarygodnie brzmiącymi przeformułowaniami własnej pewności. Z nią tabela nazywa i blokuje każdy konkretny skrót, zanim agent go zastosuje.3

Tabela wykracza poza typowy prompt engineering. Tworzy framework samomonitorowania, a nie dyrektywę behawioralną. Tabela nie mówi agentowi, co ma robić inaczej. Mówi mu, czego wypatrywać we własnym wyjściu. Agent monitoruje własne odpowiedzi względem kolumny NIEWYSTARCZAJĄCE i gdy wykryje dopasowanie, wie, że musi zastąpić skrót faktycznym dowodem.

Wzorzec się skaluje. Można dodać dowolne twierdzenie specyficzne dla domeny. Dla przeglądów bezpieczeństwa: „Brak podatności” wymaga „sprawdzonych konkretnych klas podatności i wyników”, a nie „Przejrzałem kod”. Dla dostępności: „Zgodność z WCAG” wymaga „wyników audytu axe lub Lighthouse”, a nie „Sprawdziłem kontrast”.


Nazwane tryby awarii jako bariery metapoznawcze

Ludzie mają nazwane zniekształcenia poznawcze: efekt potwierdzenia, zakotwiczenie, efekt Dunninga-Krugera. Nazwy mają znaczenie. Gdy potrafimy nazwać zniekształcenie, możemy je wypatrywać. Agenci AI potrzebują tego samego słownictwa dla swoich wzorców awarii.

Udokumentowałem siedem trybów awarii, które mój agent wykazywał wielokrotnie, nadałem każdemu nazwę i dodałem sygnały wykrywania:4

Tryb awarii Jak wygląda Sygnał wykrywania
Spirala skrótów Pomijanie kroków weryfikacji, by szybciej raportować Raport ukończenia bez dowodów dla każdego kroku
Miraż pewności „Jestem pewien” zastępuje faktyczną weryfikację Język asekuracyjny w raporcie
Plateau wystarczającości Działający kod, który nie jest czysty, przetestowany ani udokumentowany Wahanie przy pytaniach o jakość
Widzenie tunelowe Szlifowanie jednej funkcji przy jednoczesnym psuciu sąsiedniego kodu „Nic innego nie jest dotknięte” bez sprawdzenia
Fantomowa weryfikacja Twierdzenie, że testy przechodzą, bez uruchomienia ich teraz Dowody z poprzedniej sesji
Odroczony dług Zostawianie TODO/FIXME/HACK w commitowanym kodzie Jakikolwiek taki komentarz w diffie
Pusty raport „Gotowe” bez podania konkretów Raport ukończenia bez dowodów dla któregokolwiek kryterium

Nazwy czynią awarie wykrywalnymi. Bez nich agent produkuje Miraż pewności, a ani agent, ani użytkownik nie rozpoznaje tego jako wzorca. Z nimi instrukcja brzmi: „Jeśli zauważysz, że wykazujesz jakikolwiek nazwany tryb awarii, ZATRZYMAJ SIĘ i zacznij ponownie od kroku Ocena.”

Monitorowanie jest metapoznawcze w ścisłym znaczeniu: agent obserwuje własny proces poznawczy (czy pomijam weryfikację? czy używam pewności jako substytutu dowodów?), a nie swoje wyniki (czy ten kod jest poprawny?). Monitorowanie kształtuje generowanie jako część procesu rozumowania agenta, dlatego wyłapuje błędy, które przegląd na poziomie wyników pomija.

Własne referencyjne implementacje umiejętności Anthropic potwierdzają to podejście. Analiza oficjalnych umiejętności Claude Code ujawniła wzorce strukturalne w skutecznym projektowaniu instrukcji dla agentów. Według obserwacji autora zakazy („NIGDY nie rób X”) okazały się skuteczniejsze niż sugestie („rozważ Y”), ponieważ nazywają konkretne ominięcie, a nie ogólne działanie.5 Nazwane tryby awarii to konkretne zakazy: „NIGDY nie wykazuj Fantomowej weryfikacji” działa lepiej niż „zawsze uruchamiaj testy”, ponieważ blokuje ominięcie, a nie powtarza działanie.


Detekcja języka asekuracyjnego

Najprostszy monitor metapoznawczy, jaki wdrożyłem, wykrywa konkretne słowa w wynikach agenta:

Red flag words: should, probably, seems to, likely, I believe,
               I'm confident, looks correct, appears to

Za każdym razem, gdy agent użyje jednego z tych słów w raporcie ukończenia, samo słowo jest dowodem niewystarczającej weryfikacji.6 „Testy powinny przechodzić” oznacza, że agent ich nie uruchomił. „Wydaje się działać” oznacza, że agent tylko zerknął. „Jestem pewien” oznacza, że agent zastępuje dowód zewnętrzny stanem wewnętrznym.

Implementacja jest mechaniczna. System hooków przechwytuje wynik agenta i flaguje język asekuracyjny. Agent następnie zastępuje słowo asekuracyjne weryfikacją, którą powinien był wykonać:

  • „Testy powinny przechodzić” staje się: uruchamia testy, wkleja wynik pokazujący 0 błędów
  • „Wygląda poprawnie” staje się: cytuje konkretną asercję lub sprawdzenie potwierdzające poprawność
  • „Jestem pewien” staje się: wymienia dowody, z których ta pewność wynika

Wzorzec pochodzi z prac obra nad weryfikacją przed ukończeniem (verification-before-completion).1 Analogia z naukami kognitywnymi jest dobrze ugruntowana: w ludzkim metapoznaniu trafność samooceny („Rozumiem to”) słabo koreluje z faktycznym zrozumieniem.3 Ludzie, którzy mówią „Rozumiem”, często nie rozumieją. Ludzie, którzy potrafią to wyjaśnić, zwykle rozumieją. To samo dotyczy agentów AI: agent, który potrafi wskazać konkretne dowody, rozumie problem. Agent, który mówi „Jestem pewien”, może go nie rozumieć.


Wyłącznik trzech poprawek

Metapoznanie to nie tylko wykrywanie błędnego rozumowania. To także wykrywanie, kiedy należy się zatrzymać.

Zasada eskalacji po trzech poprawkach: jeśli trzy próby naprawy tego samego problemu zawiodły, agent musi się zatrzymać i fundamentalnie zakwestionować architekturę.7 Nie próbować czwartej poprawki. Nie szukać innego kąta w ramach tego samego podejścia. Zatrzymać się. Cofnąć. Zapytać, czy problem tkwi w rozwiązaniu, czy w definicji problemu.

Zasada działa jak wyłącznik dla pętli debugowania. Bez niej agenci wchodzą w coś, co nazywam Spiralą napraw: każda nieudana próba rodzi nową teorię, która rodzi nową poprawkę, która zawodzi, co rodzi kolejną teorię. Agent może przejść przez dziesiątki poprawek, nigdy nie kwestionując, czy pracuje nad właściwym problemem. Incydent niekontrolowanych 23 agentów był wersją tego zjawiska rozciągniętą wszerz: agenci osiągnęli konsensus w sprawie złego pytania, ponieważ żaden mechanizm metapoznawczy nie zapytał „czy to pytanie ma poprawnie określony zakres?”

Zasada trzech poprawek działa, ponieważ wymusza przejście fazowe w rozumowaniu agenta. Poprawki 1-3 działają w ramach aktualnego modelu mentalnego. Poprawka 4 (która w rzeczywistości oznacza „przestań naprawiać”) zmusza agenta do skonstruowania nowego modelu mentalnego. W praktyce oznacza to zazwyczaj ponowne przeczytanie błędu od początku, ponowne zbadanie założeń lub poproszenie użytkownika o wyjaśnienie; wszystkie te działania są produktywniejsze niż czwarte zgadywanie.


Przed i po: co się zmienia

Oto konkretny przykład. Poprosiłem agenta o dodanie walidacji danych wejściowych do endpointu API.

Bez instrukcji metapoznawczych:

Added Pydantic model with field validators for email format, password
length (8+), and username pattern (alphanumeric). Tests should pass.
The implementation follows FastAPI best practices.

Wynik zawiera trzy sygnały asekuracyjne: „should pass” (nie uruchomił testów), „follows best practices” (nie nazwał, których praktyk) oraz brak dowodów rozważenia przypadków brzegowych. Miraż pewności opakowany w Pusty raport.

Z instrukcjami metapoznawczymi (to samo zadanie, ten sam agent):

Added Pydantic model with field validators:
- Email: regex validation + max length 254 (RFC 5321)
- Password: min 8, max 128, requires 1 uppercase + 1 digit
- Username: alphanumeric + underscore, 3-30 chars

Test output (just ran):
  tests/test_auth.py::test_valid_registration PASSED
  tests/test_auth.py::test_invalid_email_rejected PASSED
  tests/test_auth.py::test_short_password_rejected PASSED
  tests/test_auth.py::test_empty_username_rejected PASSED
  tests/test_auth.py::test_unicode_username_rejected PASSED
  5 passed in 0.34s

Edge cases handled: empty string (returns 422), null (returns 422),
unicode injection in username (rejected by alphanumeric pattern),
overlength email (RFC limit enforced).

Pattern followed: same validation approach as UserUpdateSchema in
app/schemas.py line 45.

Różnica nie polega na tym, że drugi agent napisał lepszy kod. Obaj agenci mogli napisać identyczny kod. Różnica polega na tym, że drugi agent zweryfikował swoją pracę względem konkretnych kryteriów dowodowych i zaraportował dowody zamiast swojej pewności.


Budowanie własnej warstwy metapoznawczej

Framework jest przenośny. Nie potrzeba mojego konkretnego systemu. Potrzebne są trzy komponenty:

1. Tabela fałszywych dowodów. Zdefiniuj, co NIE stanowi dowodu dla twierdzeń, które agent formułuje najczęściej. Zacznij od sześciu kryteriów powyżej i dodaj wiersze specyficzne dla domeny. Trzecia kolumna (NIEWYSTARCZAJĄCE) jest źródłem wartości.

2. Nazwane tryby awarii. Udokumentuj od trzech do pięciu sposobów, w jakie agent najczęściej zawodzi. Nadaj każdemu nazwę. Dodaj sygnały wykrywania. Dołącz instrukcję: „Jeśli zauważysz, że wykazujesz jakikolwiek nazwany tryb awarii, zatrzymaj się i dokonaj ponownej oceny.”

3. Detekcja języka asekuracyjnego. Wymień konkretne słowa sygnalizujące niewystarczającą weryfikację w danej domenie. Dodaj instrukcję: „Zastąp każde słowo asekuracyjne dowodem, który usunąłby niepewność.”

Te trzy komponenty składają się na warstwę metapoznawczą, która nakłada się na dowolne instrukcje na poziomie działań. Instrukcje na poziomie działań definiują, jak wygląda poprawne zachowanie. Warstwa metapoznawcza definiuje, jak agent wykrywa własne odchylenie od poprawnego zachowania.

Implementacja może być tak prosta, jak dodanie sekcji do pliku CLAUDE.md lub AGENTS.md:

## Self-Monitoring

### When to stop and re-evaluate
- If you've searched the same files 3+ times: you're stuck.
- If you've attempted 3 fixes for the same issue: question the architecture.
- If you use "should" or "probably" in your response: replace with evidence.

### What doesn't count as evidence
[your false evidence table here]

### Named failure modes to watch for
[your failure modes here]

To, czy egzekwowanie odbywa się przez hooki (deterministyczne, nie można ich pominąć), pliki reguł (ładowane do kontekstu), czy instrukcje inline (zależne od posłuszeństwa modelu), determinuje niezawodność warstwy metapoznawczej. Hooki są najsilniejsze, ponieważ przechwytują na poziomie użycia narzędzi, a nie na poziomie promptu. Niemniej nawet instrukcje metapoznawcze na poziomie promptu mierzalnie poprawiają jakość wyników agenta, ponieważ zmieniają kryteria oceny agenta, a nie tylko jego działania.

Ćwiczenie: przeprowadź audyt trzech ostatnich interakcji z agentem. Skopiuj raporty ukończenia. Zaznacz każde wystąpienie „powinno”, „prawdopodobnie” lub „jestem pewien”. Dla każdego zaznaczonego słowa zapisz konkretny dowód, który powinien był zastąpić niepewność. Jeśli dowód istnieje, ale agent go nie przytoczył, agent potrzebuje detekcji języka asekuracyjnego. Jeśli dowód nie istnieje, agent całkowicie pominął weryfikację: potrzebuje tabeli fałszywych dowodów.

Kolejność ma znaczenie: zacznij od tabeli fałszywych dowodów (największy wpływ, najłatwiejsze wdrożenie), następnie dodaj nazwane tryby awarii, gdy zaobserwujesz powtarzające się wzorce, a na końcu dodaj detekcję języka asekuracyjnego jako kontrolę mechaniczną. Każda warstwa wyłapuje błędy, które pominęła poprzednia. Razem tworzą pętlę sprzężenia zwrotnego: agent monitoruje własne wyniki, wykrywa znane wzorce awarii i koryguje się, zanim zgłosi ukończenie.

Minimalna odtwarzalna konfiguracja

Podstawowy wzorzec metapoznawczy można przetestować w pięć minut. Utwórz plik .claude/CLAUDE.md (lub uzupełnij istniejący) o następującej treści:

## Evidence Gate

Before reporting any task as complete, provide evidence for ALL criteria:

| Claim | Required Evidence | NOT Sufficient |
|-------|------------------|----------------|
| "Tests pass" | Paste test output showing 0 failures | "Tests should pass" |
| "Follows patterns" | Name the pattern AND file where it exists | "Best practices" |
| "Edge cases handled" | List each case and handling | "Considered edge cases" |

## Red Flag Words
If your completion report contains: should, probably, seems to,
I believe, looks correct, I'm confident — STOP.
Replace the word with the evidence that eliminates the hedge.

## Circuit Breaker
After 3 failed fixes for the same issue, STOP.
Question whether you are solving the right problem.

Poproś agenta o wykonanie dowolnego nietrywialnego zadania (np. „dodaj walidację danych wejściowych do tego endpointu”). Porównaj raport ukończenia z bramką dowodową i bez niej. Różnica jest widoczna już przy pierwszym zadaniu: bez bramki agent raportuje pewność. Z bramką agent raportuje dowody.

Powyższa konfiguracja to podzbiór pełnego systemu. Pomija nazwane tryby awarii i egzekwowanie przez hooki, ale demonstruje kluczowy mechanizm: zdefiniowanie, co NIE stanowi dowodu, natychmiast zmienia zachowanie weryfikacyjne agenta.


Wyniki produkcyjne po dziewięciu miesiącach

System metapoznawczy działa w 12 aktywnych projektach od maja 2025 roku. Precyzyjne zmierzenie jego wpływu jest trudne, ponieważ nie ma grupy kontrolnej (nie mogę przeprowadzić tych samych dziewięciu miesięcy rozwoju bez systemu). Sygnały kierunkowe są jednak jasne:

Przed instrukcjami metapoznawczymi (pierwsze trzy miesiące, maj-lipiec 2025): Agent regularnie produkował Miraże pewności: raporty mówiące „testy przechodzą” bez ich uruchomienia i „stosuje wzorce” bez wskazania, których. Wyłapywałem je podczas ręcznego przeglądu, co oznaczało, że każde ukończenie zadania przez agenta wymagało pełnej weryfikacji przez człowieka. Agent był narzędziem do tworzenia szkiców, a nie narzędziem autonomicznym.

Po wprowadzeniu tabeli fałszywych dowodów (sierpień 2025): Twierdzenia oparte na fałszywych dowodach spadły w raportach ukończenia agenta niemal do zera. Reprezentatywny przykład: commit 3a8f2c1 (wrzesień 2025, blakecrosley.com) pokazuje raport ukończenia agenta, który przytacza konkretne wyniki testów, ścieżki przejrzanych plików i obsłużone przypadki brzegowe, czyli ten sam typ zadania, który wcześniej kończył się słowami „testy powinny przechodzić” i „stosuje dobre praktyki”. Tabela nazywa i blokuje każdy konkretny skrót. Agent nie może napisać „testy powinny przechodzić”, gdy instrukcja wprost wymienia to sformułowanie jako NIEWYSTARCZAJĄCE. Kontrola mechaniczna działa, ponieważ dopasowuje wzorce tekstowe, a nie intencję semantyczną.

Po wprowadzeniu nazwanych trybów awarii (październik 2025): Pętle debugowania się skróciły. Przed wyłącznikiem trzech poprawek agent podejmował 8-12 prób naprawy jednego problemu, zanim interweniowałem. Po wprowadzeniu wyłącznika agent eskaluje lub prosi o wyjaśnienie po trzech próbach. Eskalacja zwykle prowadzi do poprawnej diagnozy szybciej, niż zrobiłoby to czwarte zgadywanie.

Po wprowadzeniu detekcji języka asekuracyjnego przez hooki (grudzień 2025): System hooków przechwytuje język asekuracyjny mechanicznie, co oznacza, że agent nie może pominąć tej kontroli nawet przy złożonych, wieloetapowych zadaniach, w których instrukcje na poziomie promptu bywają spychane na dalszy plan. Połączenie wszystkich trzech warstw (tabela + tryby awarii + hooki) daje wyniki agenta, które przeglądam pod kątem poprawności, a nie kompletności: agent rzetelnie raportuje, co faktycznie zrobił, a nie co zamierzał zrobić.

System nie eliminuje błędów. Eliminuje konkretną klasę błędów: tę, w której samoocena agenta rozmija się z jego faktycznymi wynikami.

Wzorzec ma niezależne potwierdzenie z wielu źródeł. Prace Anthropic nad constitutional AI trenują modele względem kryteriów samooceny, a nie wyłącznie zewnętrznej informacji zwrotnej.9 Projekt superpowers autorstwa obra niezależnie odkrył, że umiejętności typu „weryfikacja przed ukończeniem” zmieniają zachowanie agenta bardziej niż instrukcje na poziomie działań.1 Modele nagrody za proces (PRM) od OpenAI wykazały, że niezależna ocena każdego kroku rozumowania daje bardziej niezawodne wyniki niż ocena wyłącznie odpowiedzi końcowej; to ta sama zasada, którą tabela fałszywych dowodów stosuje do kroków weryfikacji agenta.10 Framework Reflexion autorstwa Shinna i in. (2023) wykazał, że modele LLM otrzymujące ustrukturyzowane prompty samorefleksji poprawiły trafność zadań o 20-30% w benchmarkach programistycznych w porównaniu z prostym ponowieniem próby, co dowodzi, że forma samooceny ma takie samo znaczenie jak sam fakt jej istnienia.11 Tabela fałszywych dowodów w opisywanym systemie to ręcznie zdefiniowana wersja tej samej zasady: wystarczy jawnie zdefiniować kryteria oceny, a jakość wyników agenta rośnie, ponieważ poprawia się jego samomonitorowanie.


Czego metapoznanie nie potrafi

Programowanie metapoznawcze czyni agentów AI bardziej niezawodnymi. Nie czyni ich mądrymi.

Tabela fałszywych dowodów wyłapuje konkretne skróty. Nie wyłapuje nowych skrótów, których tabela nie wymienia. Nazwane tryby awarii wykrywają znane wzorce. Nie wykrywają wzorców, które nie zostały jeszcze nazwane. Detekcja języka asekuracyjnego wyłapuje powierzchowne zastępowanie dowodów pewnością. Nie wyłapuje agenta, który szczerze przekonał samego siebie (w jakimkolwiek sensie „przekonał” ma tu zastosowanie), że błędny wynik jest poprawny.

Co bardziej fundamentalne, instrukcje metapoznawcze przybliżają gust, ale go nie wytwarzają. System Jiro może zapobiec except: pass i wymusić dowody z testów. Nie potrafi jednak ocenić, czy architektura jest właściwa, czy nazewnictwo oddaje intencję ani czy rozwiązanie odpowiada na faktyczny problem, a nie na ten zadeklarowany. Takie oceny wymagają rozumowania kontekstowego, które obecne modele przybliżają, ale którego nie wykonują niezawodnie.

Ktoś odpowiedział na jeden z moich tweetów o systemie Jiro; w parafrazie: w zasadzie próbujesz nauczyć pętlę powściągliwości, gustu i czegoś zbliżonego do moralnej pauzy, czyli rzeczy, przeciw którym bazowy wzorzec Ralph jawnie optymalizuje w imię przepustowości.8

Mieli rację. Programowanie metapoznawcze to rusztowanie strukturalne dla cech, których maszyna nie posiada. Rusztowanie jest nośne. Bez niego maszyna produkuje Miraże pewności na masową skalę. Z nim maszyna produkuje zweryfikowane wyniki na masową skalę. Przepaść między tymi dwoma rezultatami to różnica między agentem, któremu można zaufać, że przepracuje całą noc, a agentem, którego trzeba niańczyć.

Ale rusztowanie to nie budynek. Budynek (gust, osąd, umiejętność rozpoznania, kiedy właściwą odpowiedzią na pytanie jest inne pytanie) pozostaje ludzki. Warstwa metapoznawcza czyni to ograniczenie widocznym, zamiast ukrywać je za pewną siebie prozą.


Kluczowe wnioski

Dla inżynierów budujących systemy agentowe:

  • Pisz instrukcje metapoznawcze, nie tylko instrukcje na poziomie działań. Instrukcje na poziomie działań definiują poprawne zachowanie. Instrukcje metapoznawcze definiują, jak agent wykrywa własne odchylenie od poprawnego zachowania. To ten drugi rodzaj oddziela wiarygodnie wyglądające wyniki od wyników zweryfikowanych.

  • Nazwij tryby awarii swojego agenta. Gdy wzorzec awarii ma nazwę (Miraż pewności, Fantomowa weryfikacja, Spirala skrótów), agent może go wypatrywać. Nienazwane awarie powtarzają się w nieskończoność.

Dla zespołów skalujących przepływy pracy wspomagane przez AI:

  • Zbuduj tabelę fałszywych dowodów przed skalowaniem. Zdefiniuj, co NIE stanowi dowodu dla każdego twierdzenia, które formułuje agent. Trzecia kolumna (NIEWYSTARCZAJĄCE) z wyprzedzeniem blokuje konkretne skróty, po które agenci sięgają, gdy zostaną poproszeni o „weryfikację”.

  • Język asekuracyjny to wiarygodny sygnał. Za każdym razem, gdy agent mówi „powinno”, „prawdopodobnie” lub „jestem pewien” w raporcie ukończenia, nie wykonał weryfikacji, którą deklaruje. Wykrywaj i zastępuj mechanicznie.


Audyt metapoznawczy

Chcesz ocenić własne instrukcje dla agenta? Interaktywne narzędzie poniżej analizuje dowolny plik CLAUDE.md, AGENTS.md lub prompt systemowy i ocenia go w wymiarach metapoznawczych opisanych w tym poście.

Wklej instrukcje dla agenta, a audyt wskaże: jaki procent instrukcji jest na poziomie działań, a jaki metapoznawczy, które nazwane tryby awarii są pokryte, czy istnieje detekcja języka asekuracyjnego i gdzie są luki.


Często zadawane pytania

Czym różnią się instrukcje na poziomie działań od metapoznawczych instrukcji dla agentów AI?

Instrukcje na poziomie działań definiują poprawne zachowanie: „używaj adnotacji typów”, „pisz testy”, „waliduj dane wejściowe”. Instrukcje metapoznawcze definiują, jak agent monitoruje własną zgodność z tymi zachowaniami: „jeśli użyjesz słowa »powinno« w raporcie weryfikacji, w rzeczywistości nie zweryfikowałeś”, „jeśli trzy poprawki zawiodą, zakwestionuj architekturę”. Instrukcje na poziomie działań zapobiegają błędnym wynikom. Instrukcje metapoznawcze zapobiegają błędnym wzorcom rozumowania, które do błędnych wyników prowadzą. Większość konfiguracji agentów zawiera wyłącznie pierwszy rodzaj, dlatego agenci produkują pracę wiarygodnie wyglądającą, lecz niezweryfikowaną.

Jak zbudować warstwę metapoznawczą dla agenta AI piszącego kod?

Zacznij od tabeli fałszywych dowodów. Wypisz pięć twierdzeń, które agent formułuje najczęściej („testy przechodzą”, „stosuje wzorce”, „obsługuje przypadki brzegowe”), i dla każdego zdefiniuj, co NIE stanowi dowodu. Trzecia kolumna (NIEWYSTARCZAJĄCE) blokuje konkretne skróty, zanim agent po nie sięgnie. Nazwane tryby awarii dodaj po tym, jak trzy razy zaobserwujesz ten sam wzorzec błędu. Detekcję języka asekuracyjnego dodaj na końcu jako kontrolę mechaniczną. Każda warstwa wyłapuje błędy, które pominęła poprzednia. Cały system może zacząć się od jednej sekcji markdown w pliku CLAUDE.md i stamtąd się rozrastać.

Czy programowanie metapoznawcze działa z modelami innymi niż Claude?

Zasady są niezależne od modelu. Każdy model językowy, który wykonuje instrukcje, może skorzystać z tabel fałszywych dowodów, nazwanych trybów awarii i detekcji języka asekuracyjnego. Różni się konkretny mechanizm egzekwowania: Claude Code obsługuje hooki, które przechwytują wyniki agenta na poziomie użycia narzędzi (deterministycznie, bez możliwości obejścia). Inne frameworki mogą polegać na promptach systemowych lub skryptach przetwarzania końcowego. Siła egzekwowania decyduje o niezawodności: instrukcje metapoznawcze na poziomie promptu poprawiają jakość wyników, ale dopiero egzekwowanie na poziomie hooków ją gwarantuje.

Po czym poznać, że agent AI potrzebuje instrukcji metapoznawczych?

Cztery sygnały: (1) Agent zgłasza „gotowe”, ale praca zawiera oczywiste błędy (Pusty raport, w którym agent pominął weryfikację). (2) Ten sam typ błędu powraca w kolejnych sesjach: to nienazwany tryb awarii, który się powtarza, bo nic go nie wypatruje. (3) Raporty ukończenia agenta używają języka asekuracyjnego („powinno działać”, „wygląda poprawnie”) zamiast przytaczać dowody: to Miraż pewności. (4) Agent wpada w długie pętle debugowania, nie kwestionując swojego podejścia: brakuje wyłącznika. Jeśli którykolwiek z tych wzorców pojawi się więcej niż dwa razy, agent potrzebuje rusztowania metapoznawczego.


Część serii Claude Code Deep Dives. System hooków implementuje opisaną tu warstwę egzekwowania. Artykuł Inżynieria kontekstu jako architektura wyjaśnia, jak warstwa metapoznawcza wpisuje się w szerszy, siedmiowarstwowy system kontekstu.



  1. obra/superpowers na GitHub. Projekt superpowers zawiera umiejętności do systematycznego debugowania i weryfikacji, które uczą agentów Claude Code monitorowania własnych wzorców rozumowania, a nie wyłącznie swoich wyników. Ujęcie metapoznawcze w niniejszym artykule czerpie z tego podejścia. github.com/obra/superpowers ↩↩↩

  2. Struktura tabeli fałszywych dowodów czerpie ze wzorca verification-before-completion w projekcie obra/superpowers. Zaadaptowałem tę koncepcję w Bramkę dowodową, sześciokryterialny system weryfikacji egzekwowany przez hooki. Pełna implementacja opisana jest w poście o filozofii jakości Jiro. ↩

  3. Trzecia kolumna (NIEWYSTARCZAJĄCE) odpowiada na to, co literatura naukowa nazywa „iluzjami metapoznawczymi”: przypadki, w których samoocena agenta dotycząca własnych wyników rozmija się z wynikami faktycznymi. W naukach kognitywnych jest to dobrze udokumentowane: studenci, którzy oceniają siebie jako „rozumiejących” materiał, często wypadają słabo na testach z tego materiału. Dunning, D., Johnson, K., Ehrlinger, J., & Kruger, J. (2003). Why people fail to recognize their own incompetence. Current Directions in Psychological Science, 12(3), 83-87. doi.org/10.1111/1467-8721.01235 ↩↩

  4. Siedem nazwanych trybów awarii wyłoniło się z dziewięciu miesięcy produkcyjnego użytkowania. Każdy został udokumentowany po zaobserwowaniu wzorca co najmniej trzy razy w różnych projektach i typach zadań. Pełny system opisano w artykule Why My AI Agent Has a Quality Philosophy. ↩

  5. Analiza autora dotycząca oficjalnych umiejętności Claude Code dostępnych przez system umiejętności Claude Code CLI. Zakazy („NEVER X”) okazały się skuteczniejsze niż sugestie („consider Y”), ponieważ nazywają konkretne ominięcie. Obserwacja, że umiejętności zorientowane na sposób myślenia przewyższają proceduralne przewodniki pod względem adopcji, opiera się na relacjach społeczności z Discorda Claude Code i dyskusji na GitHub, a nie na kontrolowanym badaniu. Zob. dokumentację Claude Code od Anthropic: docs.anthropic.com/en/docs/claude-code. ↩

  6. Spostrzeżenie, że język asekuracyjny sygnalizuje niewystarczającą weryfikację, ma oparcie empiryczne także poza systemami agentowymi. Nisbett, R.E. and Wilson, T.D. (1977). “Telling More Than We Can Know: Verbal Reports on Mental Processes.” Psychological Review, 84(3), 231-259. doi.org/10.1037/0033-295X.84.3.231. Nisbett i Wilson wykazali, że werbalne samoopisy procesów rozumowania są często konfabulowane: ludzie podają wiarygodnie brzmiące wyjaśnienia zamiast trafnych relacji o swoim faktycznym rozumowaniu. Ta sama dynamika pojawia się w wynikach agentów: „I’m confident this is correct” to wiarygodnie brzmiący samoopis, a nie dowód weryfikacji. ↩

  7. Zasada eskalacji po trzech poprawkach funkcjonuje jako wzorzec wyłącznika (circuit breaker) zastosowany do debugowania. Wzorzec jest analogiczny do wyłącznika w systemach rozproszonych (Nygard, M. Release It!, 2007, Pragmatic Bookshelf): zawiedź szybko, eskaluj, spróbuj innego podejścia. Po trzech nieudanych próbach w ramach tego samego modelu mentalnego kontynuowanie tej samej ścieżki przynosi malejące korzyści. ↩

  8. Parafraza odpowiedzi na wpis @blakec na X, luty 2026. Oryginalny tweet omawiał napięcie między optymalizacją prędkości pętli Ralph a tarciem jakościowym systemu Jiro. Obserwacja respondenta, że bazowa pętla „explicitly optimizes against restraint in the name of throughput”, trafnie opisuje napięcie projektowe, na które odpowiada warstwa metapoznawcza. ↩

  9. Anthropic, “Constitutional AI: Harmlessness from AI Feedback,” 2022. arxiv.org/abs/2212.08073. Podejście constitutional AI trenuje model do oceny własnych wyników względem zestawu zasad. Opisany tu system metapoznawczy to wersja tej samej idei działająca w czasie wykonania: zamiast samooceny na etapie treningu tabela fałszywych dowodów i nazwane tryby awarii dostarczają kryteriów oceny w czasie wnioskowania, poprzez zestaw instrukcji. ↩

  10. Lightman, H., Kosaraju, V., Burda, Y., et al., “Let’s Verify Step by Step,” arXiv, 2023. arxiv.org/abs/2305.20050. Badania OpenAI nad modelami nagrody za proces wykazały, że ocena pośrednich kroków rozumowania (nadzór procesu) daje lepsze wyniki niż ocena wyłącznie odpowiedzi końcowej (nadzór wyniku) przy rozwiązywaniu problemów matematycznych. Tabela fałszywych dowodów stosuje tę samą zasadę na poziomie instrukcji: wymaga dowodu dla każdego twierdzenia weryfikacyjnego, zamiast akceptować końcowy raport „gotowe”. ↩

  11. Shinn, N., Cassano, F., Gopinath, A., et al., “Reflexion: Language Agents with Verbal Reinforcement Learning,” NeurIPS 2023. arxiv.org/abs/2303.11366. Reflexion wykazał poprawę trafności o 20-30% w benchmarkach HumanEval i ALFWorld dzięki ustrukturyzowanym promptom samorefleksji podawanym agentom LLM po niepowodzeniach. Framework potwierdza kluczowe spostrzeżenie opisywanego systemu: forma i szczegółowość instrukcji samooceny mają takie samo znaczenie jak sam fakt ich istnienia. ↩

Powiązane artykuły

Twój agent pisze szybciej, niż Pan/Pani zdąży przeczytać

Pięć grup badawczych, ten sam wniosek: agenty AI produkują kod szybciej, niż programiści są w stanie go zrozumieć. Dług …

13 min czytania

Dlaczego mój agent AI ma filozofię jakości

Mój agent Claude Code odziedziczył niechlujne ludzkie nawyki z prędkością maszyny. Odpowiedź: 3 filozofie, ponad 150 bra…

20 min czytania

Konstytucje czasu wykonania dla agentów AI: ramy nadzoru

Konstytucje czasu wykonania nadzorują agentów AI tam, gdzie zawodzi dopasowanie treningowe: kontrola kompetencji, bramki…

14 min czytania