Jak Save-Game Context Compaction obniża zużycie tokenów o 91.9%

Współczesne systemy oparte na sztucznej inteligencji oraz wieloetapowych procesach cyfrowych stawiają przed programistami i przedsiębiorcami poważne wyzwania technologiczne. Kiedy zaawansowany agent AI wykonuje skomplikowane zadanie inżynieryjne obejmujące kilka modułów, tradycyjne podejście polegające na kumulowaniu całej historii komunikacji prowadzi do gwałtownego wzrostu kosztów. Zrozumienie mechanizmów optymalizacji kontekstu pozwala lepiej zarządzać budżetem technologicznym w firmie.

Eksperymenty nad agentami kodującymi AI (przeprowadzone w ramach serii AI Labo Benchmark Series, konkretnie w ramach eksperymentu E12 na odizolowanych maszynach wirtualnych Proxmox VM216 przy użyciu modelu gemini-3.8-flash) wykazały, że niekontrolowane gromadzenie danych powoduje poważne problemy wydajnościowe. Standardowe podejście polegające na dopisywaniu każdego zrzutu pliku, logu telemetrycznego i wyjściowego kodu do pojedynczej tablicy wiadomości generuje dwie główne trudności.

Pierwszym problemem jest kwadratowa inflacja tokenów. Każde wyjście narzędzia z poprzedniej tury jest ponownie rozliczane przy każdej kolejnej iteracji, co prowadzi do lawinowego wzrostu kosztów (odnotowano skoki z 6,556 przez 11,769 aż do 17,544 tokenów wejściowych). Drugim zjawiskiem jest średnio-zadaniowy dryf specyfikacji, znany jako problem utracenia w środku (Lost-in-the-Middle). Dokładne reguły normalizacji ciągów znaków czy warunki brzegowe ukryte w środku historii zostają zagłuszone przez rozwinięte logi, co generuje ukryte błędy.

Na czym polega wzorzec Save-Game Context Compaction?

Rozwiązaniem zidentyfikowanym w testach jest mechanizm nazwany Milestone Context Compaction, czyli wzorzec zapisu stanu gry (Save-Game). W tym podejściu, bezpośrednio po tym, jak dany kamień milowy przechodzi deterministyczną bramkę weryfikacyjną, wykonywany jest reset poleceniem /compact. Surowe logi są odrzucane, a historia czatu zostaje zastąpiona 120-tokenowym strukturyzowanym punktem kontrolnym JSON (SAVE_GAME_COMPACTION_V1) oraz specyfikacją wyłącznie kolejnego etapu.

W testowanym scenariuszu trzuetapowego rurociągu telemetrii sieci elektroenergetycznej i rozliczania kredytów węglowych (dzielącego się na moduły collector.py, clearing.py oraz dispatch.py) porównano dwa tryby działania. Tryb A (AccumulatedHistoryRunner) gromadził całą historię i osiągnął 35,869 skumulowanych tokenów wejściowych, doprowadzając do błędu typu Lost-in-the-Middle w drugim module i uzyskując wynik 18 na 20 testów (90.0%). Z kolei Tryb B (MilestoneCompactionRunner) utrzymał każdą turę poniżej 1,400 tokenów wejściowych. Powiązany temat opisaliśmy w artykule „Autorskie agenci AI pracujący w nocy: ryzyko i zysk dla solo deweloperów”.

Konkretne oszczędności tokenów i kosztów operacyjnych

Wyniki benchmarku pokazują drastyczną różnicę między tradycyjnym gromadzeniem historii a nową metodą kompresji punktów kontrolnych. Zastosowanie wzorca Save-Game pozwoliło na osiągnięcie 91.9% redukcji skumulowanych tokenów wejściowych, sprowadzając ich liczbę z 35,869 do zaledwie 2,922 tokenów w całym cyklu zadania. Tak pracujemy przy tworzenie stron internetowych dla firm.

Przekłada się to bezpośrednio na wymierne oszczędności finansowe. Koszty wywołań API spadły o 72.2%, redukując wydatki z 0.0340 USD do 0.0095 USD na zadanie. Warto zauważyć, że pierwsza tura dla modułu collector.py w trybie z kompresją zużyła zaledwie 650 tokenów (koszt 0.00290 USD) w porównaniu do 6,556 tokenów (koszt 0.00725 USD) w trybie akumulacyjnym, co stanowi 90.1% redukcji już na starcie procesu.

Wpływ na niezawodność i dokładność systemów AI

Oprócz redukcji zużycia zasobów obliczeniowych, kluczowym aspektem testu była niezawodność działania agenta. Tryb A, ze względu na wspomniany dryf specyfikacji, zapomniał o zastosowaniu reguły .strip().upper() dla zmiennej contract_tier, co skutkowało oblaniem dwóch testów integracyjnych End-to-End. System popełnił błąd logiczny wynikający z przeładowania kontekstu informacjami historycznymi.

Tryb B (Milestone Compaction) dzięki regularnemu czyszczeniu zbędnego szumu i pozostawianiu jedynie strukturyzowanego stanu JSON utrzymał pełną precyzję. Agent wykonał zadanie bezbłędnie, przechodząc całą ukrytą suite 20 przypadków testowych z wynikiem 100% (20 na 20 poprawnych przypadków), co udowadnia, że mniejsza ilość danych wejściowych wcale nie oznacza utraty jakości – wręcz przeciwnie, drastycznie ją zwiększa.

Co to oznacza dla małej firmy?

Właściciele małych firm, którzy wdrażają nowoczesne technologie i automatyzacje AI w swoich procesach biznesowych, ponoszą koszty związane z zużyciem zasobów API oraz stabilnością oprogramowania. Opisany wzorzec pokazuje, że inteligentne zarządzanie kontekstem i strukturą danych pozwala drastycznie obniżyć bieżące rachunki za sztuczną inteligencję bez ryzyka utraty jakości działania systemów. Redukcja kosztów API o ponad 70% oraz eliminacja błędów wykonawczych oznaczają, że automatyzacje stają się tańsze w utrzymaniu i znacznie bardziej niezawodne w codziennej pracy przedsiębiorstwa.

Podsumowanie

Eksperyment E12 udowadnia, że niekontrolowane rozrastanie się historii komunikacji z modelami językowymi generuje niepotrzebne koszty i błędy wynikające z przeładowania informacyjnego. Wdrożenie techniki Save-Game Context Compaction pozwala nie tylko zaoszczędzić ponad 90% tokenów wejściowych i obniżyć koszty o ponad 72%, ale przede wszystkim gwarantuje stuprocentową niezawodność realizowanych procesów automatyzacji.