Считаю, прежде чем покупать машину под локальную модель

За одну неделю мои агенты, которые делают игры, израсходовали столько, что по ценам API это стоило бы около 1460 долларов. За подписку я плачу фиксированные 200 долларов в месяц, так что счёт на эту сумму мне никто не выставлял, но недельный лимит Sonnet посреди релиза действительно кончился. В этой заметке расчёты, которые я проделал, прежде чем решать, стоит ли перекладывать часть работы на машину у меня дома.

Начал бы я с модели Qwen3.6-35B-A3B в 4-битном квантовании, то есть в сжатом виде, которому нужно меньше памяти. У неё открытые веса под лицензией Apache 2.0, на вход она принимает текст и картинки. Из 35 миллиардов её параметров на каждый токен активны только 3 миллиарда, поэтому она быстрая: чужие опубликованные замеры на видеокарте RTX 3090 дают около 155 токенов в секунду на генерации и больше 3000 в секунду на чтении промпта. Файл модели весит около 21 ГБ.

Запускать её можно на ноутбуке, который у меня уже есть: MacBook Pro на M5 Pro с 64 ГБ объединённой памяти. Модель помещается целиком, софт установлен, и платить ни за что не надо, но это моя рабочая машина, агенты заняты на ней весь день, а ради ночных прогонов её пришлось бы каждую ночь оставлять дома включённой.

Второй вариант: купить небольшую отдельную машину. Сборка подешевле, на которую я бы согласился:

КомпонентВыборЦена
Мини-ПКMinisforum AI X1 Pro-470, продаётся без памяти и диска; есть OCuLink, разъём для внешней видеокартыоколо 760 долларов
Память32 ГБ DDR5430-490 долларов
ДискNVMe на 512 ГБоколо 90 долларов, моя оценка
Док для видеокартыAOOSTAR AG02, OCuLink, собственный блок питания на 800 Втоколо 230 долларов
Видеокартаб/у RTX 4060 Ti, 16 ГБ380-470 долларов
Итогооколо 1950 долларов (середина диапазонов)

В карту на 16 ГБ модель на 21 ГБ не влезает. Эта модель умеет держать часть слоёв в оперативной памяти компьютера, вне карты, поэтому в сборке 32 ГБ, а не 16. Из-за такого разделения она работает медленнее: оценки, которые я видел для карт на 16 ГБ, дают 30-50 токенов в секунду. Для ночных прогонов этого хватит. На диск в 512 ГБ помещаются система и три-четыре модели.

В сборке побыстрее вместо этой карты стоит б/у RTX 3090 на 24 ГБ, она стоит около 1500 долларов. Тогда модель целиком лежит на карте, и именно на такой конфигурации получены те 155 токенов в секунду, а итог выходит около 3000 долларов.

Обе сборки упираются в контекст, то есть в объём текста, который модель держит в памяти одновременно. В опубликованном тесте на 3090 при загруженных 8000 токенов контекста оставалось около 2,5 ГБ свободной памяти, так что я рассчитываю примерно на 16 000-32 000 токенов, а с картинками на входе меньше. Ролям, которые я хочу перенести, в их нынешнем виде этого мало. Эпизод слепого теста на пике занимал по медиане 34 000 токенов контекста, запуск исследователя 54 000, прогон QA около 100 000. Каждый шаг добавляет всего 2000-2300 токенов, но шаги накапливаются. Перенести эти роли получится только после того, как я разрежу их работу на короткие вызовы: один фрагмент расшифровки или один скриншот с короткой историей.

На роли, которые только читают, раскладывают по заметкам, делают выжимки или тестируют, пришлось 1,5% стоимости недели и 5,5% новых токенов. Если добавить исследования, арт и помощников общего назначения на Sonnet, получится около 8% стоимости и 25% новых токенов, а из-за ограничения по контексту на деле переедет меньше.

Восемь процентов от 1460 долларов дают около 120 долларов в неделю по ценам API. Если бы переехало всё, чего ограничение по контексту пока не позволяет, сборка за 1950 долларов окупилась бы примерно за четыре месяца, а сборка за 3000 примерно за шесть. Но я плачу фиксированные 200 долларов в месяц, и от переноса 8% работы тариф дешевле не станет, так что живых денег машина не экономит совсем.

Если проектов станет больше, расчёт в живых деньгах тоже не изменится. В неделю, которую я измерял, уже входили две игры и база знаний, а новые проекты на той же подписке мой счёт не увеличивают. Зато лимит Sonnet с ними кончается раньше, и тогда реальной альтернативой становится вторая подписка за 200 долларов. Если сравнивать с ней и заложить 25-30 долларов в месяц на электричество (моя оценка), сборка подешевле окупается примерно за одиннадцать месяцев, а сборка побыстрее примерно за полтора года. К тому же цена машины фиксированная, так что каждый новый проект, который отдаёт ей работу, снижает стоимость одной задачи.

Так что ради денег я бы её не покупал. Купил бы ради лимита, потому что переезжают роли на Sonnet, а кончился как раз лимит Sonnet (по ценам API на них пришлось около трёх четвертей недельного расхода Sonnet, хотя как их взвешивает подписка, я не знаю), и ещё больше ради повторов. Калибровка QA у меня состоит из двух прогонов, слепой тест из восьми эпизодов, и несколько цифр в основной статье слабые по простой причине: прогон расходует лимит, и я делал его раз или два. Локальная модель должна осилить пятьдесят повторов одного и того же эпизода за ночь по цене электричества. О полноте облачного тестировщика, того, что работает на Claude, это ничего не скажет, пока я не прогоню обоих на одних и тех же эпизодах. Зато станет видно, насколько один эпизод отличается от другого, а значит, устойчив ли результат вроде четырёх из двенадцати.

Поэтому сначала ноутбук: на нём можно бесплатно выяснить, справляется ли модель с этими задачами (про скорость карты на 16 ГБ и её предел по контексту он ничего не скажет). А отдельная машина подождёт, пока ночные прогоны не станут для меня ценнее бесплатного ноутбука.

Claude Code можно на целую сессию направить на другой эндпоинт, но я хочу перевести на локальную модель только часть ролей. Поэтому локальная модель будет спрятана за моими скриптами и запущена через llama.cpp, а агенты будут вызывать эти скрипты как инструменты. Для тестеров это значит, что весь цикл мой скрипт должен вести сам: скриншот, модель, действие.

Код по тикетам остаётся в облаке. На своих тикетах я локальную модель не гонял, опубликованные оценки этой модели на задачах по коду получены на стенде её же разработчика, а неверная правка в коде игры обходится мне дороже неверной выжимки. Слепой тестер в роли гейта остаётся облачным, пока локальный не сравнён с ним на одних и тех же эпизодах. Из того, что крутится в цикле самой ведущей сессии, не переезжает ничего: этому циклу нужно гораздо больше контекста, чем даёт карта на 24 ГБ.

Обо мнеВсе статьиLinkedInpavel@klinkov.com