Wzorzec protegowanego

Model o 7 miliardach parametrów rozwiązał 42,4% zadań SWE-bench Verified. Poprzedni rekord dla małych modeli wynosił 17,0%. Model nie stał się inteligentniejszy. Model nauczył się, kiedy prosić o pomoc.¹

Kon i in. wytrenowali model Qwen2.5-Coder-7B-Instruct do współpracy z modelem frontierowym jako ekspertem. Ekspert odpowiadał na około cztery pytania na zadanie, zużywając 11% wszystkich tokenów.¹ Pozostałe 89% tokenów pochodziło od małego modelu wykonującego rutynowe operacje: odczyt plików, uruchamianie testów, stosowanie poprawek. Koszt spadł z 0,54–1,24 USD za instancję (sam ekspert) do 0,13–0,15 USD (protegowany z ekspertem).¹ 8,2-krotna redukcja kosztów przy 25-punktowym wzroście wydajności w porównaniu z poprzednim stanem wiedzy dla małych modeli.

Wynik potwierdza wzorzec, ku któremu praktycy niezależnie zmierzali: wzorzec protegowanego.

TL;DR

Wzorzec protegowanego dzieli pracę agenta między mały, tani model (protegowany), który obsługuje rutynowe wykonanie, a model frontierowy (ekspert), który podejmuje decyzje wymagające oceny. SWE-Protege wykazał poprawę o 25,4 punktu i 8,2-krotną redukcję kosztów.¹ Własny wieloagentowy system badawczy Anthropic wykorzystuje ten sam podział na warstwy: Claude Opus jako agent wiodący, Claude Sonnet jako podagenci.³ Wzorzec działa, ponieważ większość pracy agenta jest mechaniczna. Przekierowanie tej mechanicznej pracy do modelu 5 razy tańszego na token odzyskuje 80% budżetu kosztowego bez utraty jakości w decyzjach, które naprawdę mają znaczenie.

Framework ekspert-protegowany

SWE-Protege precyzyjnie definiuje tę relację.¹ Protegowany jest jedynym decydentem. Ekspert nigdy nie inicjuje działań. Protegowany wybiera, kiedy eskalować, jakie pytanie zadać i jak wykorzystać odpowiedź. Uczenie ze wzmocnieniem trenuje protegowanego do optymalizacji dwóch konkurujących celów: rozwiązać zadanie ORAZ zminimalizować wykorzystanie eksperta.

Struktura nagród RL penalizuje trzy tryby awarii:

Degeneracyjne zapętlenie. Protegowany zadaje to samo pytanie wielokrotnie. Kara zniechęca do wyuczonej bezradności.

Nieproduktywna współpraca. Protegowany zadaje pytanie, ignoruje odpowiedź i kontynuuje swój pierwotny plan. Kara zniechęca do pozornej eskalacji.

Nadmierna zależność. Protegowany przekierowuje każdą decyzję do eksperta. Kara zniechęca protegowanego do stawania się warstwą pośrednią.

Rezultatem jest protegowany, który rozwija autentyczną ocenę własnych ograniczeń. Model 7B nauczył się rozróżniać między zadaniami, które mógł obsłużyć samodzielnie (odczyt plików, wykonywanie testów, proste poprawki), a zadaniami wymagającymi interwencji eksperta (decyzje architektoniczne, niejednoznaczne wymagania, analiza zależności między wieloma plikami).¹

Dlaczego routing działa

Podstawy akademickie routingu modeli poprzedzają SWE-Protege. RouteLLM wykazał, że routing między silnym a słabym modelem zapewnia do 3,66-krotnych oszczędności kosztów przy zachowaniu 95% jakości silnego modelu.¹¹ Router uczy się, które zapytania wymagają zdolności frontierowych, a które mniejszy model obsługuje równie dobrze.

IBM Research uzyskał podobne wyniki dzięki „oszczędnej” metodzie routingu: sekwencyjnemu wywoływaniu mniejszych, wyspecjalizowanych modeli, aż jeden z nich da pewną odpowiedź.¹⁴ Podejście to osiąga do 85% redukcji kosztów przy prostych zapytaniach.

Podstawowa obserwacja ma charakter dystrybucyjny. Większość operacji agenta nie jest trudna. Odczyt pliku, uruchomienie grep, zastosowanie dobrze zdefiniowanej poprawki, wykonanie zestawu testów — te operacje wymagają poprawnego wykonania, nie głębokiego rozumowania. Model 5 razy tańszy na token obsługuje je identycznie jak model frontierowy.⁷ Trudne operacje (diagnozowanie subtelnego błędu, wybór między podejściami architektonicznymi, ocena poprawności rozwiązania) korzystają z frontierowego rozumowania. Wzorzec protegowanego kieruje każdą operację do odpowiedniej warstwy.

Własna dokumentacja Anthropic jasno określa podział na warstwy. Przewodnik „Choosing the Right Model” zaleca Haiku do „zadań podagentów”, a Opus do „profesjonalnej inżynierii oprogramowania” i „zaawansowanych agentów”.⁸ To nie jest marketing. Zalecenia odzwierciedlają zmierzone różnice wydajności w rozkładach złożoności zadań.

Implementacje produkcyjne

Trzy systemy produkcyjne demonstrują wzorzec protegowanego na dużą skalę.

Wieloagentowy system badawczy Anthropic. Claude Opus prowadzi, Claude Sonnet wykonuje jako podagenci.³ System przewyższył jednoagentowego Claude Opus o 90,2% w wewnętrznej ewaluacji. Poprawa nie wynikała z lepszego modelu, lecz z lepszej dekompozycji zadań. Podagenci Sonnet zużywali większość tokenów na operacje badawcze, podczas gdy Opus koncentrował budżet rozumowania na syntezie i ocenie.

Kompilator C Carliniego. Szesnaście równoległych agentów Claude stworzyło 100 000-wierszowy kompilator C oparty na Rust, który uruchamia bootowalny Linux 6.9.⁴ Koszt: 20 000 USD w ramach ~2000 sesji. Choć wszystkie agenty działały na tym samym poziomie, projekt ujawnił właściwość samoorganizacji, którą wzorzec protegowanego formalizuje: agenty naturalnie grawitowały ku „następnemu najbardziej oczywistemu problemowi”.⁴ Żaden centralny orkiestrator nie przydzielał zadań.

Chris Lattner dokonał przeglądu kompilatora i zidentyfikował granicę między tym, co agenty AI obsługują dobrze, a tym, gdzie ludzka ocena pozostaje niezbędna: „Obniżenie barier implementacyjnych nie zmniejsza znaczenia inżynierów; wręcz przeciwnie, podnosi znaczenie wizji, oceny i gustu.”⁵⁶ Agenty doskonale radziły sobie ze składaniem znanych technik. Agenty miały trudności z „otwartą generalizacją wymaganą dla systemów o jakości produkcyjnej.”⁵

Routing modeli w praktyce. Badanie „What Claude Code Chooses” przeanalizowało 2430 wyborów narzędzi w trzech modelach Claude.⁹ Opus 4.6 wykazywał preferencje zorientowane na przyszłość (Drizzle 100% vs Prisma 0%), podczas gdy Sonnet 4.5 dokonywał bardziej konwencjonalnych wyborów.⁹ Rozbieżność wywołała znaczną dyskusję w społeczności.¹⁰ Różne warstwy wnoszą różne uprzedzenia do niejednoznacznych decyzji. Protegowany dokonujący rutynowych wyborów narzędzi nie potrzebuje frontierowego rozumowania. Protegowany napotykający niejednoznaczny wybór architektoniczny korzysta z eskalacji.

Arytmetyka kosztów

Ekonomia czyni ten wzorzec przekonującym jeszcze przed uwzględnieniem wzrostu wydajności.

Przy obecnych cenach Anthropic rozstęp między warstwami wynosi dokładnie 5x:⁷

Typowa sesja agenta zużywa 50 000–200 000 tokenów w każdym kierunku. Przy założeniu 100 tys. tokenów wejściowych i 100 tys. wyjściowych w cenach samego Opus, sesja kosztuje 0,50 USD wejście + 2,50 USD wyjście = 3,00 USD. Jeśli protegowany obsługuje 80% tokenów, a ekspert 20%, ta sama sesja kosztuje:

• Protegowany (80 tys. tokenów): 0,08 USD wejście + 0,40 USD wyjście = 0,48 USD
• Ekspert (20 tys. tokenów): 0,10 USD wejście + 0,50 USD wyjście = 0,60 USD
• Razem: 1,08 USD (64% oszczędności)

SWE-Protege osiągnął jeszcze bardziej agresywne oszczędności, ponieważ ekspert zużywał tylko 11% tokenów, a nie 20%.¹ Przy 100 sesjach agenta dziennie różnica kumuluje się: 300 USD/dzień przy samym ekspercie wobec 108 USD/dzień z routingiem protegowanego. W skali miesiąca: 9000 USD wobec 3240 USD.

Tabela liderów SWE-bench dostarcza kontekstu wydajnościowego.¹² Claude 4.5 Opus przy wysokim poziomie rozumowania osiąga 76,8% współczynnik rozwiązywalności przy 0,754 USD za instancję. Podejście z routingiem protegowanego przy 42,4% współczynniku rozwiązywalności kosztuje 0,13–0,15 USD za instancję.¹ Dla zadań w zakresie możliwości protegowanego, koszt za rozwiązane zadanie przemawia na korzyść routingu. Dla zadań wymagających frontierowego rozumowania ekspert pozostaje dostępny na żądanie.

Zjawisko kolaboratywności

Wang i in. odkryli właściwość wyjaśniającą, dlaczego wzorzec protegowanego daje lepsze wyniki niż każdy model osobno.¹³ Artykuł „Mixture-of-Agents” wykazał, że modele generują lepsze odpowiedzi, gdy otrzymują wyniki z innych modeli, nawet jeśli te inne modele są mniej zdolne.¹³

To odkrycie odwraca oczekiwaną hierarchię. Model frontierowy czytający wstępną analizę i odczyty plików małego modelu daje lepsze wyniki niż model frontierowy zaczynający od zera. Praca małego modelu to nie tylko tania siła robocza odciążająca eksperta. Praca małego modelu dostarcza ustrukturyzowany kontekst, który poprawia rozumowanie eksperta.

Wieloagentowe badania Anthropic potwierdziły ten wzorzec: aktualizacja podagentów z Sonnet 3.7 do Sonnet 4 przyniosła „większy wzrost wydajności niż podwojenie budżetu tokenów na Claude Sonnet 3.7.”³ Jakość modelu na poziomie protegowanego ma znaczenie. Lepszy protegowany tworzy lepszego eksperta.

Co można zbudować

Trzy wzorce eskalacji odpowiadają coraz bardziej autonomicznym implementacjom.

Wzorzec 1: Routing oparty na pewności. Najprostsza implementacja. Protegowany generuje odpowiedź i wskaźnik pewności. Poniżej progu zapytanie kierowane jest do eksperta. RouteLLM udostępnia framework open source do trenowania routera.¹¹ Zacznij tutaj.

Wzorzec 2: Routing oparty na typie zadania. Klasyfikuj operacje według typu i kieruj deterministycznie. Odczyt plików, wykonywanie testów i formatowanie do Haiku. Przegląd kodu, decyzje architektoniczne i niejednoznaczne wymagania do Opus. Przewodnik Anthropic „Building Effective Agents” nazywa to wzorcem routingu: „klasyfikacja danych wejściowych i kierowanie łatwych/typowych pytań do mniejszych, efektywnych kosztowo modeli.”²

Wzorzec 3: Wyuczona eskalacja. Podejście SWE-Protege. Trenowanie protegowanego do samodzielnego podejmowania decyzji o eskalacji za pomocą uczenia ze wzmocnieniem.¹ Protegowany rozwija autentyczną ocenę swoich ograniczeń. Najbardziej zaawansowany i najwydajniejszy wzorzec, ale wymaga infrastruktury RL i danych treningowych oznaczonych przez eksperta.

Każdy wzorzec zamienia złożoność implementacji na oszczędności kosztowe i autonomię. Wzorzec 1 wymaga zbioru danych do kalibracji pewności. Wzorzec 2 wymaga taksonomii zadań. Wzorzec 3 wymaga przebiegów treningowych RL. Wszystkie trzy przewyższają wdrożenie jednopoziomowe pod względem wydajności skorygowanej o koszty.

Kluczowe wnioski

• Wzorzec protegowanego to nie równoważenie obciążenia. Protegowany podejmuje decyzje o własnych ograniczeniach. Ekspert zapewnia ocenę, nie przepustowość.
• Większość pracy agenta jest mechaniczna. Przekierowanie tej pracy do modelu 5 razy tańszego odzyskuje budżet kosztowy na decyzje wymagające frontierowego rozumowania.
• Lepsi protegowani tworzą lepszych ekspertów. Zjawisko kolaboratywności oznacza, że wyniki małych modeli poprawiają rozumowanie modeli frontierowych.¹³
• Obserwacja Lattnera dotyczy samego wzorca: „W miarę jak pisanie kodu staje się łatwiejsze, projektowanie oprogramowania staje się ważniejsze niż kiedykolwiek.”⁵ Protegowany obsługuje łatwiejsze pisanie. Ekspert zajmuje się trudniejszym projektowaniem.

Część serii AI Engineering. Zobacz także: Context Is the New Memory, Claude Code as Infrastructure i The 10% Wall.