Рахую, перш ніж купувати машину під локальну модель
За один тиждень агенти, що роблять мені ігри, витратили стільки, що за офіційними цінами API це коштувало б близько $1 460. За передплату я плачу фіксовані $200 на місяць, тож ця цифра не рахунок до сплати, але тижневий ліміт Sonnet таки закінчився посеред релізу. У цій нотатці розрахунки, які я зробив, перш ніж вирішувати, чи варто віддати частину роботи машині вдома.
Почав би я з моделі Qwen3.6-35B-A3B із 4-бітною квантизацією, тобто у стиснутому вигляді, якому треба менше пам’яті. Її ваги відкриті під Apache 2.0, і вона приймає текст та зображення. З її 35 мільярдів параметрів на кожен токен активні лише 3 мільярди, тому вона й швидка: чужі опубліковані вимірювання на відеокарті RTX 3090 дають близько 155 токенів за секунду під час генерації і понад 3 000 за секунду під час читання промпту. Файл моделі важить близько 21 ГБ.
Я міг би запустити її на ноутбуці, який у мене вже є: це MacBook Pro з чипом M5 Pro і 64 ГБ об’єднаної пам’яті. Модель уміщається повністю, софт установлено, і це нічого не коштує. Але це моя робоча машина, агенти користуються нею цілий день, а заради нічних прогонів її довелося б щоночі лишати вдома ввімкненою.
Або я міг би купити невелику окрему машину. Дешевша конфігурація, на яку я б погодився:
| Компонент | Вибір | Ціна |
|---|---|---|
| Міні-ПК | Minisforum AI X1 Pro-470, продається без пам’яті та диска; має OCuLink, роз’єм для зовнішньої відеокарти | близько $760 |
| Пам’ять | 32 ГБ DDR5 | від $430 до $490 |
| Диск | 512 ГБ NVMe | близько $90, моя оцінка |
| Док для відеокарти | AOOSTAR AG02, OCuLink, із власним блоком живлення на 800 Вт | близько $230 |
| Відеокарта | вживана RTX 4060 Ti, 16 ГБ | від $380 до $470 |
| Разом | близько $1 950 (середина діапазонів) |
У карту на 16 ГБ модель на 21 ГБ не влізе. Ця модель уміє тримати частину шарів в оперативній пам’яті комп’ютера, поза картою, і саме тому конфігурації потрібно 32 ГБ, а не 16. Такий поділ ще й сповільнює її: оцінки для карт на 16 ГБ, які мені траплялися, дають від 30 до 50 токенів за секунду. Для нічних прогонів цього досить. На диск у 512 ГБ уміщаються система і три чи чотири моделі.
У швидшій конфігурації карту замінено на вживану RTX 3090 на 24 ГБ, яка коштує близько $1 500. Тоді вся модель лежить на карті, і саме в такому варіанті отримано згадані вище 155 токенів за секунду, а загальна сума виходить близько $3 000.
Обидві конфігурації впираються в контекст, тобто в обсяг тексту, який модель може тримати одночасно. В опублікованому тесті на 3090 лишалося близько 2,5 ГБ вільної пам’яті із завантаженим контекстом на 8 000 токенів, тож я розраховую приблизно на 16 000-32 000 токенів, а із зображеннями на вході менше. Для ролей, які я хочу перенести, у їхньому нинішньому вигляді цього замало. Піковий контекст епізоду сліпого тесту мав медіану 34 000 токенів, дослідницького запуску 54 000, а QA-прогону близько 100 000. Кожен крок додає лише від 2 000 до 2 300 токенів, але кроки накопичуються. Перенести ці ролі можна буде лише після того, як я поріжу їхню роботу на дрібні виклики: одна частина транскрипту або один скриншот із короткою історією.
Ролі, які лише читають, впорядковують, стисло переказують або тестують, дали 1,5% вартості тижня і 5,5% його свіжих токенів. Якщо додати дослідницькі та арт-ролі й загальних помічників на Sonnet, вийде близько 8% вартості і 25% свіжих токенів, а через обмеження контексту насправді переїде менше.
Вісім відсотків від $1 460 становлять близько $120 на тиждень за офіційними цінами. Якби переїхало все, чого обмеження контексту поки не дозволяє, конфігурація за $1 950 окупилася б приблизно за чотири місяці, а конфігурація за $3 000 приблизно за шість. Але я плачу фіксовані $200 на місяць, і перенесення 8% роботи не переводить мене на дешевший тариф, тож у грошах машина нічого не заощаджує.
Від більшої кількості проєктів грошовий підсумок теж не змінюється. Тиждень, який я виміряв, уже включав дві гри й базу знань, а нові проєкти на тій самій передплаті мого рахунку не збільшують. Вони натомість швидше з’їдають ліміт Sonnet, і тоді справжньою альтернативою стає друга передплата за $200. Порівняно з нею, якщо закласти від $25 до $30 на місяць на електрику (моя оцінка), дешевша конфігурація окуповується приблизно за одинадцять місяців, а швидша приблизно за півтора року. До того ж ціна машини фіксована, тому кожен додатковий проєкт, який шле їй роботу, знижує вартість одного завдання.
Тож заради грошей я б її не купував. Вона дала б мені квоту, бо ролі, які переїхали б, працюють на Sonnet, а закінчився саме ліміт Sonnet (за офіційними цінами на них припало близько трьох чвертей тижневого використання Sonnet, хоча я не знаю, як їх зважує передплата), і, що важливіше, повтори. Моє калібрування QA складається з двох прогонів, а сліпий тест із восьми епізодів, і кілька чисел в основній статті слабкі з тієї простої причини, що прогін з’їдає квоту, тому я запускав його раз чи двічі. Локальна модель має бути здатна за ніч зіграти той самий епізод п’ятдесят разів за ціною електрики. Про повноту хмарного тестувальника, того, що працює на Claude, це нічого не скаже, доки я не прожену обох на тих самих епізодах. Зате покаже, наскільки один епізод відрізняється від наступного, а отже, чи стабільний результат на кшталт чотирьох із дванадцяти.
Тому першим іде ноутбук, бо з’ясувати на ньому, чи достатньо добре модель дає раду цим завданням, нічого не коштує (про швидкість карти на 16 ГБ чи її обмеження контексту він мені не скаже), а окрема машина чекає, доки нічні прогони стануть для мене ціннішими за вільний ноутбук.
Claude Code можна націлити на інший ендпоінт на цілу сесію, але я хочу, щоб локальними стали лише деякі ролі. Тому локальна модель працюватиме через llama.cpp за моїми власними скриптами, а агенти викликатимуть ці скрипти як інструменти. Для тестувальників це означає, що мій скрипт мусить сам крутити весь цикл: скриншот, модель, дія.
Код, написаний за тікетом, лишається в хмарі. На власних тікетах я локальну модель не запускав, опубліковані результати цієї моделі на задачах із програмування отримано на власному тестовому стенді її розробника, а хибна зміна в коді гри коштує мені дорожче за хибний переказ. Сліпий тестувальник лишається в хмарі як гейт, доки локального не порівняно з ним на тих самих епізодах. Із власного циклу провідної сесії не переїжджає нічого, бо цьому циклу потрібно значно більше контексту, ніж дозволяє карта на 24 ГБ.