Grok CLI i agenci terminalowi: MCP oraz contracting

Agent w terminalu dostaje repozytorium i polecenie „napraw ten test”. Pętla nie kończy się na jednym wywołaniu modelu. Każdy krok dokleja do kontekstu wynik wyszukiwania, okno pliku i stdout. Przyjmijcie prefiks 2 000 tokenów (instrukcja, AGENTS.md, treść zadania) i 1 000 tokenów nowej obserwacji na krok, bez pamięci podręcznej prefiksu. Dwanaście kroków wysyła w sumie 90 000 tokenów wejścia. Jedno wywołanie z tym samym prefiksem i jedną obserwacją wysyła 3 000. Stosunek wynosi 30. Ostatnie trzy kroki to 36 000 tokenów, czyli 40% rachunku. Pierwsze trzy to 9 000, czyli 10%.

To jest dodawanie, które da się powtórzyć na kartce. Nie jest to faktura z nazwanego wdrożenia. Faktura wygląda tak samo, gdy nikt nie ustawił limitu kroków, a warunkiem stopu jest zdanie modelu „gotowe”, nie zielony test.

Druga stawka jest twardsza niż token. Agent, który czyta issue, README albo wynik narzędzia, wykonuje też treść, którą wstawił tam ktoś trzeci, i ma pod sobą shell. Debenedetti, Zhang, Balunović, Beurer-Kellner, Fischer i Tramèr, AgentDojo (arXiv:2406.13352, 2024): 97 zadań, 629 testów bezpieczeństwa. Modele nie domykają części zadań nawet bez ataku. Wstrzyknięcie promptu przez dane zwrócone z narzędzia łamie część własności bezpieczeństwa, nie wszystkie.

1. Anatomia: host, pętla, MCP

Terminalowy agent (terminal AI) to pętla, nie czat. Host trzyma historię, woła model, wykonuje akcję i dokleja obserwację. Grok CLI – produkt opisany przez xAI jako Grok Build, polecenie grok – jest takim hostem. Dokumentacja (x.ai/docs/build/overview, strona produktu x.ai/cli) wymienia: interaktywny TUI, tryb headless grok -p, plan przed edycją, subagentów, worktree (-w), plik AGENTS.md, skills, hooki oraz serwery MCP. Model wybiera się flagą -m i poleceniem grok models. Konfigurację odkrytą w katalogu pokazuje grok inspect. Uwierzytelnienie: przeglądarka albo zmienna XAI_API_KEY. Pakiet npm: @xai-official/grok.

Z tego nie wynika procent rozwiązanych issues. Publiczna dokumentacja nie przypisuje binarnemu grok wyniku SWE-bench. Wynik, jeśli ktoś go zmierzy, będzie należał do konkretnego modelu, limitu kroków i harnessu testów.

Model Context Protocol

Model Context Protocol (MCP) rozdziela host od narzędzi. Specyfikacja, rewizja 2025-11-25 (modelcontextprotocol.io), stoi na JSON-RPC 2.0. Host (Grok CLI, inny klient w edytorze) trzyma klienta. Serwer wystawia trzy rzeczy: tools (funkcje, które model może wywołać), resources (dane do odczytu) i prompts (szablony). Cykl życia: initialize negocjuje możliwości, tools/list zwraca schematy, tools/call wykonuje jedno narzędzie. Po stronie klienta specyfikacja przewiduje też sampling (serwer prosi host o wywołanie modelu) i listę katalogów (roots).

Transport lokalny to stdio: proces na tej samej maszynie, bez portu. Transport zdalny od rewizji 2025-03-26, utrzymany w 2025-11-25, to Streamable HTTP. Wcześniejszy układ HTTP z SSE schodzi z roli głównego transportu zdalnego. Jeden serwer MCP da się podpiąć do kilku hostów. Nie da się tym zastąpić decyzji, które narzędzie ma prawo zapisu.

{
  "jsonrpc": "2.0",
  "id": 2,
  "method": "tools/call",
  "params": {
    "name": "get_issue",
    "arguments": {"key": "PAY-1842"}
  }
}

Kształt komunikatu jest ze specyfikacji narzędzi MCP (rewizja 2025-06-18 i zgodne z nią późniejsze). Nazwa get_issue jest przykładem odczytu. Nie jest listą narzędzi Grok CLI.

krok = 0
kontekst = [system, AGENTS.md, zadanie]
while krok < LIMIT and not test_zielony(cel):
    akcja = model(kontekst)
    if akcja.typ == "mcp":
        wynik = serwer.tools_call(akcja.nazwa, akcja.argumenty)
    elif akcja.typ == "shell":
        wynik = sandbox(akcja.polecenie)  # tu leży sieć, .env i git push
    kontekst.append(skrot(akcja, wynik))
    krok += 1

Shell-only przegrywa z interfejsem pisanym pod model, nawet gdy wagi zostają te same. Yang, Jimenez, Wettig, Lieret, Yao, Narasimhan i Press, SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering (arXiv:2405.15793, NeurIPS 2024). Na SWE-bench Lite, GPT-4 Turbo: agent ograniczony do zwykłej skorupy rozwiązuje 11,00% zadań, SWE-agent 18,00% (54 ze 300). Osobna ablacja podglądu pliku: okno 100 linii daje 18,0%, wklejenie całego pliku 12,7% (minus 5,3 punktu). W ablacji edytora ścieżka shell-only schodzi do 10,3% wobec 18,0% przy edycji, która odpala lint składni. cat całego pliku zalewa kontekst tekstem, którego model i tak nie użyje do łatki.

Na pełnym SWE-bench ten sam SWE-agent z GPT-4 Turbo rozwiązuje 12,47% (286 z 2 294) przy średnim koszcie 1,59 USD na instancję w cenach z pracy. Abstrakt zaokrągla pass@1 do 12,5%. Drugie 87,7% w tym samym abstrakcie to HumanEvalFix, czyli krótkie poprawki funkcji. To nie jest ten sam zbiór co 2 294 issues z GitHuba.

2. Liczby, które da się odtworzyć – i liczby, których nie wolno przenieść

Jimenez, Yang, Wettig, Yao, Pei, Press i Narasimhan, SWE-bench: Can Language Models Resolve Real-World GitHub Issues? (arXiv:2310.06770, ICLR 2024). Zbiór: 2 294 problemy z prawdziwych issues i pull requestów, 12 repozytoriów Pythona. Model dostaje repozytorium i treść issue, ma oddać edycję, którą przechodzą ukryte testy. Najlepszy model w tej pracy, Claude 2, rozwiązuje 1,96% bez pętli narzędzi. To nie jest „agent sprzed roku interfejsu”. To jest górna granica tamtego, nieinteraktywnego ustawienia.

Porównanie 1,96% z 12,47% miesza model, rok i rusztowanie. Ablacja, która trzyma model (GPT-4 Turbo) i zmienia tylko interfejs, jest węższa: 11,00% wobec 18,00% na Lite. Siedem punktów procentowych na 300 zadaniach. Wystarczy, żeby przestać traktować surowy bash jako neutralne API modelu. Za mało, żeby wpisać „agent rozwiązuje issues” do oferty.

OpenAI, 13 sierpnia 2024, SWE-bench Verified. Recenzja 1 699 zadań SWE-bench, trzech niezależnych anotatorów, zostaje 500. Podzbiór „łatwy”: 196 zadań poniżej 15 minut. Podzbiór „trudny”: 45 zadań powyżej godziny. GPT-4o rozwiązuje 33,2%. Scaffold Agentless podwaja swój wcześniejszy wynik 16% z oryginalnego SWE-bench. W raporcie z anotacji: 38,3% próbek miało niedospecyfikowany opis, 61,1% testy zdolne oblać poprawne rozwiązanie, łącznie 68,3% odpadło z powodu niedospecyfikowania, niesprawiedliwego testu albo innego defektu. Verified jest czystsze od pełnego zbioru. Nadal jest zbiorem cudzych issues w Pythonie, nie Waszym backlogiem.

OpenAI, 23 lutego 2026, Why we no longer evaluate SWE-bench Verified. Po skoku granica przesuwa się z 74,9% do 80,9% w sześć miesięcy. Autorzy audytują 27,6% zbioru, te zadania, które modele często oblewają, i stwierdzają, że co najmniej 59,4% przejrzanych ma testy odrzucające funkcjonalnie poprawną łatkę. Osobny problem: kontaminacja, czyli model widział zadania w treningu. OpenAI przestaje raportować Verified i wskazuje SWE-bench Pro.

OpenAI, 8 lipca 2026, Separating signal from noise in coding evaluations. Na publicznym splcie SWE-bench Pro, 731 zadań, wynik modeli z granicy rośnie z 23,3% do 80,3% w osiem miesięcy. Ten sam tekst: automat oznacza 200 zadań (27,4%) jako zepsute, kampania ludzka 249 (34,1%). Skok i odsetek zepsutych zadań czyta się razem. Inaczej 80% jest własnością tablicy, nie zespołu.

Tabela wydawcy przy ogłoszeniu GPT-5.2 Thinking (openai.com/index/introducing-gpt-5-2): SWE-bench Verified 80,0%, SWE-bench Pro public 55,6%. Rozjazd 24,4 punktu (80,0 minus 55,6) na dwóch zbiorach tego samego modelu jest większy niż cała ablacja shell kontra ACI z 2024 roku. Ogłoszenie GPT-5.4 (openai.com/index/introducing-gpt-5-4) podaje SWE-bench Pro public 57,7% oraz Terminal-Bench 2.0 na poziomie 75,1%. Terminal-Bench mierzy pracę w terminalu, nie ten sam rozkład issues co SWE-bench. Trzy procenty, trzy definicje „potrafi programować”.

Becker, Rush, Barnes i Rein, Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity (arXiv:2507.09089, METR, 2025). Randomizowane badanie: 16 deweloperów, średnio 5 lat przy tych repozytoriach (projekty powyżej 22 tys. gwiazdek), 246 zadań, luty–czerwiec 2025. Gdy wolno użyć narzędzi AI – głównie Cursor Pro oraz Claude 3.5 i 3.7 Sonnet – czas rośnie o 19% (przedział ufności od +2% do +39%). Przed badaniem ci sami ludzie prognozują skrócenie o 24%. Po badaniu nadal sądzą, że było szybciej o 20%. Ekonomiści w ankiecie autorów prognozowali skrócenie o 39%, badacze ML o 38%. Autorzy ograniczają wniosek do tego ustawienia: doświadczony człowiek, duży znajomy kod, wczesny 2025. Nie przenoszą go na juniora ani na greenfield.

24 lutego 2026 METR pisze, że kolejny pomiar – od sierpnia 2025, nowsze narzędzia – nie daje wiarygodnego sygnału: ludzie wypadają z próby, a przedziały nowych estymat obejmują zarówno przyspieszenie, jak i spowolnienie (metr.org). Liczba +19% zostaje opisem wczesnego 2025. Nie jest stałą materiałową na Q4 2026.

3. Studium: 90 000 tokenów, zanim test powie „źle”

METR tłumaczy, czemu zespół i tak podpisze, że „idzie szybciej”. W ich RCT zegar pokazał +19%, a przekonanie po fakcie zostało przy −20% czasu. Dlatego bramką nie jest ankieta po sesji. Bramką jest test, który znaliście przed uruchomieniem agenta, i licznik tokenów na sesję.

Osobna pętla, w której kilka ról dokleja sobie wyjścia, mnoży tokeny jeszcze przed shelem. Rachunek dla pięciu ról na jednym zgłoszeniu jest w tekście o orkiestracji LLM i koszcie inferencji. Tu wąskim gardłem jest jedna pętla terminalowa, nie graf imion.

4. Tabela decyzyjna

Mapa stawek AI / LLM / RAG, nie oferta: specjalista 180–250 PLN/h, klient 240–350 PLN/h, około 35–50% powyżej Pythona od zwykłego backendu, marża dostawcy przy jawnym modelu 10–20%. Źródło wewnętrzne: ile kosztuje body leasing IT w 2026. Rola „agent terminalowy + MCP + eval” nie ma w tej mapie osobnego wiersza. Kwotę na brief liczy człowiek.

5. Anty-wzorce, których nie ma w tutorialu hosta

1. Procent z tablicy wpisany do umowy. GPT-5.2 Thinking w tabeli wydawcy: 80,0% Verified i 55,6% Pro public. OpenAI w lutym 2026 odchodzi od Verified (audyt: ≥59,4% przejrzanych porażek ma wadliwe testy). W lipcu 2026 ludzie oznaczają 34,1% publicznego Pro jako zepsute, w tym samym oknie, w którym wynik granicy urósł z 23,3% do 80,3%. Do umowy wchodzi Wasz zbiór ticketów i Wasz test, nie cudza tablica.
2. Shell-only i cat całego pliku. Przy GPT-4 Turbo na Lite zwykła skorupa kończy na 11,00%, całe pliki w podglądzie na 12,7%, okno 100 linii na 18,0%. Różnica jest własnością tej pracy i tego modelu. Kierunek jest praktyczny: obserwacja ma być krótka, inaczej D w rachunku powyżej przestaje być 1 000.
3. Stop = model powiedział „gotowe”. Kroki 10–12 niosą 40% tokenów wejścia przy N=12. Pętla bez testu wydaje najdroższą tercję na powtórkę. Pusta asercja („kod się kompiluje”) puszcza złą łatkę tak samo, jak w taksonomii awarii wieloagentowych opisanej przy orkiestracji.
4. MCP z zapisem i shell z siecią w jednym zezwoleniu oraz serwer MCP dopisany w repozytorium bez przeglądu. grok inspect istnieje po to, żeby widać było, co katalog ładuje. README i treść issue są kanałem wstrzyknięcia (AgentDojo: atak siedzi w danych narzędzia, nie w system promptcie). Instalacja hosta skryptem curl | bash na laptopie z dostępem do produkcji jest osobną decyzją polityki, nie krokiem onboardingu.

6. Playbook: kogo kontraktować i w jakiej kolejności

Najpierw pytanie, co jest dziurawe: brak limitu i testu przy jednym modelu, czy brak rusztowania (MCP, sandbox, worktree, zbiór eval) przy agencie, który ma chodzić po repozytorium. Dopiero potem stawka.

1. API już jest, jednego modelu używacie, brakuje limitu kroków, schematu odpowiedzi i zbioru ocen na Waszych ticketach. To jest body leasing dewelopera LLM: jedna osoba, Wasz stand-up, Wasze kryterium ukończenia. Body leasing znaczy tu wynajem specjalisty do Waszego zespołu, zwykle time and materials (T&M). Nie sprzedajemy imiennej ławki na poniedziałek rano.
2. Agent ma czytać repozytorium, wołać MCP (tracker, CI, logi), siedzieć w worktree i oddawać diff pod bramkę człowieka. To jest inna robota niż prompt do jednego wywołania: allowlista narzędzi, sandbox shella, eval na Waszych failing testach, przegląd tego, co grok inspect ładuje z katalogu. Do tego briefu pasuje kontrakt inżyniera agentów AI, nie dokupienie kolejnego promptu.
3. Klucz, repozytorium i transkrypt nie wychodzą na prywatny laptop. Kontraktor w Waszym repozytorium i na Waszym kluczu. Eksport sesji „żeby odtworzyć błąd” jest kopią diffu i tego, co agent przeczytał, w tym przypadkowego sekretu. Ten sam rygor dotyczy serwera MCP: odczyt issue tak, zapis na produkcję nie, dopóki nie ma osobnej ścieżki z człowiekiem.
4. Ramp-up. Osoba do istniejącego zespołu: pierwsze profile w ciągu dni, start po Waszych rozmowach i umowie. Skład (agent, eval, platforma narzędzi) zszywa się tygodniami, bo uprawnienia i warunek stopu stoją na Waszej produkcji. Zapowiedź trzech seniorów „od poniedziałku” jest albo CV, albo ławką, której nie ma.

Commoditech od 2012 rozlicza T&M i rekrutację stałą z Warszawy. W sieci jest 80+ specjalistów. Nie trzymamy ich bezczynnie na ławce. Brief da się złożyć też z edytora, przez MCP dla agentów AI – protokół, którym asystent woła narzędzia dostawcy, nie skrót rekrutacji. Kwotę na konkretny stack liczy człowiek. Widełki są w artykule o stawkach. Kontakt: formularz.

FAQ

Źródła

• Jimenez, C. E., Yang, J., Wettig, A., Yao, S., Pei, K., Press, O., Narasimhan, K. (2024). SWE-bench: Can Language Models Resolve Real-World GitHub Issues? ICLR 2024. arXiv:2310.06770. arxiv.org/abs/2310.06770. Claude 2: 1,96% na 2 294 zadaniach.
• Yang, J., Jimenez, C. E., Wettig, A., Lieret, K., Yao, S., Narasimhan, K., Press, O. (2024). SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering. NeurIPS 2024. arXiv:2405.15793. arxiv.org/abs/2405.15793. GPT-4 Turbo: 12,47% (286/2 294), średnio 1,59 USD; Lite 18,00% wobec 11,00% shell-only; podgląd 100 linii 18,0% wobec 12,7% dla całego pliku.
• OpenAI (13 sierpnia 2024). Introducing SWE-bench Verified. openai.com/index/introducing-swe-bench-verified. 500 zadań, GPT-4o 33,2%.
• OpenAI (23 lutego 2026). Why we no longer evaluate SWE-bench Verified. openai.com/index/why-we-no-longer-evaluate-swe-bench-verified. 74,9% → 80,9%; ≥59,4% audytowanych porażek z wadliwym testem.
• OpenAI (8 lipca 2026). Separating signal from noise in coding evaluations. openai.com/index/separating-signal-from-noise-coding-evaluations. Pro public, 731 zadań: 23,3% → 80,3%; 249 zadań (34,1%) oznaczonych jako zepsute.
• OpenAI. Tabele w ogłoszeniach GPT-5.2 (Verified 80,0%, Pro public 55,6% dla GPT-5.2 Thinking) i GPT-5.4 (Pro public 57,7%, Terminal-Bench 2.0: 75,1%). Liczby wydawcy, nie niezależny pomiar Commoditech.
• Becker, J., Rush, N., Barnes, B., Rein, D. (2025). Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity. arXiv:2507.09089. arxiv.org/abs/2507.09089. Omówienie: METR, 10 lipca 2025. Aktualizacja o braku wiarygodnego sygnału w kolejnym pomiarze: METR, 24 lutego 2026.
• Debenedetti, E., Zhang, J., Balunović, M., Beurer-Kellner, L., Fischer, M., Tramèr, F. (2024). AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents. arXiv:2406.13352. arxiv.org/abs/2406.13352. 97 zadań, 629 testów bezpieczeństwa.
• Model Context Protocol, rewizja 2025-11-25. modelcontextprotocol.io/specification/2025-11-25. Autorzy protokołu: David Soria Parra, Justin Spahr-Summers.
• xAI. Grok Build / Grok CLI. Dokumentacja, x.ai/cli.
• Commoditech — inżynierowie agentów AI, deweloperzy LLM, stawki 2026.