Kalkulacja przed zakupem maszyny pod model lokalny
W ciągu jednego tygodnia agenci, którzy robią mi gry, zużyli tyle, że według cennika API kosztowałoby to około 1460 dolarów. Za subskrypcję płacę stałe 200 dolarów miesięcznie, więc ta kwota to nie rachunek, ale tygodniowy limit Sonneta naprawdę skończył się w środku wydania. W tej notatce jest to, co policzyłem, zanim zdecydowałem, czy część pracy powinna przejąć maszyna stojąca w domu.
Zacząłbym od modelu Qwen3.6-35B-A3B z kwantyzacją 4-bitową, czyli w skompresowanej postaci, która potrzebuje mniej pamięci. Ma otwarte wagi na licencji Apache 2.0, przyjmuje tekst i obrazy. Z jego 35 miliardów parametrów przy jednym tokenie aktywne są tylko 3 miliardy i stąd bierze się szybkość: cudze opublikowane pomiary na karcie graficznej RTX 3090 dają około 155 tokenów na sekundę przy pisaniu i ponad 3000 na sekundę przy czytaniu promptu. Plik modelu ma około 21 GB.
Mógłbym go uruchomić na laptopie, który już mam, czyli na MacBooku Pro z czipem M5 Pro i 64 GB pamięci zunifikowanej. Model mieści się w całości, oprogramowanie jest zainstalowane i nic to nie kosztuje. Tyle że na tym laptopie pracuję, agenci korzystają z niego przez cały dzień, a nocne przebiegi oznaczałyby, że co noc zostaje włączony w domu.
Mógłbym też kupić małą, osobną maszynę. Tańsza konfiguracja, jaką bym zaakceptował:
| Część | Wybór | Cena |
|---|---|---|
| Mini PC | Minisforum AI X1 Pro-470, sprzedawany bez pamięci i dysku; ma OCuLink, złącze do zewnętrznej karty graficznej | około 760 dolarów |
| Pamięć | 32 GB DDR5 | 430-490 dolarów |
| Dysk | 512 GB NVMe | około 90 dolarów, mój szacunek |
| Stacja dokująca na kartę graficzną | AOOSTAR AG02, OCuLink, z własnym zasilaczem 800 W | około 230 dolarów |
| Karta graficzna | używana RTX 4060 Ti, 16 GB | 380-470 dolarów |
| Razem | około 1950 dolarów (środek przedziałów) |
Na karcie z 16 GB nie zmieści się model, który ma 21 GB. Ten model potrafi trzymać część warstw w głównej pamięci komputera, poza kartą, i dlatego konfiguracja potrzebuje 32 GB, a nie 16. Przez taki podział działa też wolniej: szacunki, które widziałem dla kart 16 GB, to 30-50 tokenów na sekundę. Na nocne przebiegi to wystarczy. Na dysku 512 GB zmieści się system i trzy albo cztery modele.
W szybszej konfiguracji kartę zastępuje używana RTX 3090 z 24 GB, która kosztuje około 1500 dolarów. Wtedy cały model siedzi na karcie, i to właśnie w takim układzie zmierzono wspomniane wyżej 155 tokenów na sekundę. Całość wychodzi wtedy na około 3000 dolarów.
W obu konfiguracjach ograniczeniem jest kontekst, czyli ilość tekstu, którą model może trzymać naraz. W opublikowanym teście karta 3090 miała około 2,5 GB wolnej pamięci przy załadowanych 8000 tokenów kontekstu, więc spodziewam się miejsca na mniej więcej 16 000-32 000 tokenów, a przy obrazach na wejściu na mniej. Dla ról, które chcę przenieść, w ich dzisiejszej postaci to za mało. Mediana szczytowego kontekstu to 34 000 tokenów dla epizodu ślepego testu, 54 000 dla przebiegu badawczego i około 100 000 dla przebiegu QA. Każdy krok dodaje tylko 2000-2300 tokenów, ale kroki się kumulują. Te role da się przenieść dopiero wtedy, gdy potnę ich pracę na małe wywołania: jeden fragment transkrypcji albo jeden zrzut ekranu z krótką historią.
Role, które tylko czytają, porządkują, streszczają albo testują, to 1,5% kosztu tygodnia i 5,5% jego świeżych tokenów. Po doliczeniu ról badawczych i graficznych oraz ogólnych pomocników na Sonnecie wychodzi około 8% kosztu i 25% świeżych tokenów, a przez ograniczenie kontekstu w praktyce przeniesie się mniej.
Osiem procent z 1460 dolarów to około 120 dolarów tygodniowo według cennika. Gdyby przeniosło się to wszystko, co na razie wyklucza ograniczenie kontekstu, konfiguracja za 1950 dolarów zwróciłaby się po mniej więcej czterech miesiącach, a ta za 3000 dolarów po mniej więcej sześciu. Tyle że płacę stałe 200 dolarów miesięcznie, a przeniesienie 8% pracy nie przesuwa mnie na tańszy plan, więc w gotówce maszyna nic mi nie oszczędza.
Większa liczba projektów też tego rachunku nie zmienia. Tydzień, który zmierzyłem, obejmował już dwie gry i bazę wiedzy, a kolejne projekty na tej samej subskrypcji nie podnoszą tego, co płacę. Sprawiają za to, że limit Sonneta wyczerpuje się wcześniej, i wtedy realną alternatywą staje się druga subskrypcja za 200 dolarów. W porównaniu z nią, przy założeniu 25-30 dolarów miesięcznie na prąd (mój szacunek), tańsza konfiguracja zwraca się po mniej więcej jedenastu miesiącach, a szybsza po mniej więcej półtora roku. Cena maszyny jest poza tym stała, więc każdy dodatkowy projekt, który wysyła jej pracę, obniża koszt pojedynczego zadania.
Nie kupiłbym jej więc dla pieniędzy. Kupiłbym limit, bo role, które by się przeniosły, to role na Sonnecie, a skończył się właśnie limit Sonneta (licząc po cenniku, stanowiły około trzech czwartych tygodniowego zużycia Sonneta, choć nie wiem, jak waży je subskrypcja), a jeszcze bardziej powtórzenia. Kalibracja QA to u mnie dwa przebiegi, a ślepy test to osiem epizodów, i kilka liczb w głównym artykule jest słabych z tego prostego powodu, że przebieg zjada limit, więc uruchamiałem go raz albo dwa razy. Model lokalny powinien dać radę rozegrać ten sam epizod pięćdziesiąt razy w ciągu nocy za cenę prądu. Nie powie to nic o czułości testera w chmurze, czyli tego, który działa na Claude, dopóki nie uruchomię obu na tych samych epizodach. Pokaże mi za to, jak bardzo jeden epizod różni się od następnego, a więc czy wynik w rodzaju czterech z dwunastu jest stabilny.
Dlatego najpierw laptop, bo na nim sprawdzenie, czy model jest w tych zadaniach wystarczająco dobry, nic nie kosztuje (nie dowiem się za to niczego o szybkości karty 16 GB ani o jej ograniczeniu kontekstu). Osobna maszyna poczeka do chwili, gdy nocne przebiegi będą dla mnie warte więcej niż darmowy laptop.
Claude Code da się przełączyć na inny endpoint na całą sesję, ale ja chcę, żeby lokalnie działały tylko niektóre role. Model lokalny będzie więc stał za moimi własnymi skryptami, wystawiony przez llama.cpp, a agenci będą wywoływać te skrypty jako narzędzia. W przypadku testerów oznacza to, że mój skrypt musi sam prowadzić całą pętlę: zrzut ekranu, model, akcja.
Kod pisany na podstawie ticketu zostaje w chmurze. Nie uruchamiałem modelu lokalnego na własnych ticketach, opublikowane wyniki tego modelu w zadaniach programistycznych pochodzą z harnessu jego producenta, a błędna zmiana w kodzie gry kosztuje mnie więcej niż błędne streszczenie. Ślepy tester zostaje w chmurze jako bramka do czasu, aż porównam z nim lokalnego na tych samych epizodach. Z pętli samej sesji głównej nie przenosi się nic, bo ta pętla potrzebuje znacznie więcej kontekstu, niż zmieści karta 24 GB.