Локальный ИИ в 2026 году: модель 27B превосходит Sonnet 4.6, а окно для покупки железа закрывается
Table of Contents
Скачиваемая модель, которая помещается на одной потребительской видеокарте, теперь превосходит API-модель высшего класса в сводном индексе интеллекта. Qwen3.8 27B — это модель vision-language с открытыми весами, выпущенная в августе 2026 года. Ее тернарная перепаковка Bonsai 2 27B сжимает те же веса до 5.53 GiB. Вместе они обозначают момент, когда локальный вывод перестал быть компромиссом для энтузиастов и стал реальной альтернативой платному API.
Окно для покупки оборудования быстро закрывается. Память не была такой дорогой два десятилетия, и рост ее цены тянет вверх стоимость видеокарт.
В статье разобрано, что показывают тесты, чем отличаются две модели, в чем открытая модель пока уступает и почему ближайшие двенадцать месяцев не подходят для ожидания.
Что вы получите: выберите модель и объем памяти под свою нагрузку. Перед покупкой сравните цену оборудования, стоимость электричества, размер контекста и измеренную пропускную способность. Сравнение тестов не предсказывает качество выполнения ваших задач и будущую цену видеокарты.
Краткий ответ
Разрыв в интеллекте между локальной моделью 27B и платным API, близким к лидерам рынка, исчез. Оставшиеся преимущества платной модели меньше, чем можно ожидать по разнице в цене.
Одновременно изменились три фактора:
- Открытые модели 27B приблизились к результатам лидеров. Qwen3.8 27B набирает 33.7 в Intelligence Index против 30.1 у Sonnet 4.6 на одном и том же наборе тестов.
- Тернарное квантование сократило потребность в памяти примерно на две трети. Bonsai 2 27B запускает полную модель 27B в 5.53 GiB, что доступно на видеокартах за несколько сотен долларов.
- Предложение памяти ухудшилось. Контрактные цены на обычную DRAM в начале 2026 года выросли на 90–95 процентов за квартал. TrendForce не фиксировала более крупного квартального скачка, а новое поколение GPU из-за этого перенесли на 2028 год.
Покупка или сборка сейчас обойдется дешевле. Это не рекламный ход, а вывод из данных о поставках.
Посмотрите тест на одной GPU
Утверждение выше стоит показать на примере, а не в таблице. Bijan Bowen проверил Bonsai 2 27B на компьютере с одной GPU и спросил, является ли модель лучшей для одной видеокарты на сегодня.
Оценивайте качество ответа, а не число токенов в секунду. Скорость проще всего улучшить.
Два названия, одна модель
Две модели, о которых идет речь, не конкурируют друг с другом. Это одни и те же веса с разной точностью представления.
| Qwen3.8 27B | Тернарная Bonsai 2 27B | |
|---|---|---|
| Что это | Исходная модель Qwen с открытыми весами | Тернарная перепаковка Qwen3.8-27B от Prism ML |
| Объем весов на диске | 18 GB | 5.53 GiB (PTQ1_0) или 6.70 GiB (PQ2_0) |
| Параметры | 27B, плотная модель | 26.90B, та же архитектура |
| Контекст | 256K | 262,144 токена |
| Изображения | Да, встроенная поддержка | Да, отдельный пакет проектора CLIP |
| Вызов инструментов | Да | Да |
| Лицензия | Apache 2.0 | Apache 2.0 |
| Среда выполнения | Ollama, llama.cpp, MLX | Только ветка llama.cpp от Prism ML |
На странице библиотеки Ollama для qwen3.8 указаны 18 GB для модели 27B, контекст 256K, обработка изображений, вызов инструментов и отдельная сборка MLX для Apple Silicon. Тернарная перепаковка в Ollama — это зеркало пакетов GGUF Apache-2.0 от Prism ML, опубликованное повторно с совпадающими контрольными суммами.
Практический вопрос не в том, какую модель выбрать. Важно, сколько памяти вы готовы потратить на одинаковый уровень интеллекта. Тернарной версии нужно примерно втрое меньше памяти, а уступает она незначительно.
Сравнение результатов
Artificial Analysis оценивает обе модели на одном наборе тестов. Читайте результаты по строкам, а не только по сводке, потому что модели сильны в разных областях.
| Показатель | Qwen3.8 27B | Claude Sonnet 4.6 | Лидер |
|---|---|---|---|
| Intelligence Index | 33.7 | 30.1 | Открытая |
| Coding Index | 68.1 | 63.0 | Открытая |
| Agentic Index | 45.8 | 31.8 | Открытая |
| GPQA Diamond | 90.5% | 87.5% | Открытая |
| Humanity’s Last Exam | 33.9% | 33.6% | Открытая |
| AA-LCR (длинный контекст) | 82.0% | 80.0% | Открытая |
| GDPval-AA | 45.4% | 36.0% | Открытая |
| CritPt (физика) | 5.4% | 3.1% | Открытая |
| Доля ответов без галлюцинаций | 69.7% | 51.6% | Открытая |
| SciCode | 46.6% | 50.1% | Sonnet |
| Точность AA-Omniscience | 15.6% | 40.9% | Sonnet |
Открытая модель лидирует в девяти из одиннадцати сравнимых строк, включая все сводные индексы.
В чем лидирует открытая модель
Заголовок задают три сводных индекса. Intelligence: 33.7 против 30.1, Coding: 68.1 против 63.0, Agentic: 45.8 против 31.8. Разрыв в агентных задачах самый большой. Это особенно важно для автоматизированных многошаговых процессов, а не одиночных запросов.
Для сравнения по процентилям Artificial Analysis ставит Qwen3.8 27B выше 86 процентов моделей по агентному индексу и выше 76 процентов по программированию. Sonnet 4.6 получает 68 и 72 процента соответственно. В научном рассуждении на уровне аспирантуры открытая модель набирает 90.5 процента в GPQA Diamond.
Где Sonnet 4.6 сохраняет преимущество
Два показателя говорят в пользу другой модели, и оба важны.
AA-Omniscience проверяет, правильно ли модель сразу отвечает на вопросы о фактах. Sonnet 4.6 набирает 40.9 процента против 15.6 процента. Это большой разрыв в фактической надежности и самый весомый отдельный аргумент в пользу дорогой модели.
Показатель ответов без галлюцинаций нужно трактовать осторожно. 69.7 процента у Qwen против 51.6 процента у Sonnet выглядит как уверенная победа, и сам по себе результат таков. Но метрика описывает долю неправильных ответов без выдуманных сведений. Менее точная модель дает больше неправильных ответов, поэтому проценты относятся к разным группам и напрямую не сравнимы. Сначала смотрите на точность.
Sonnet также лидирует в SciCode: 50.1 процента против 46.6 процента. Кроме того, для него указаны результаты двух тестов, которых нет в карточке открытой модели: IFBench и Terminal-Bench Hard. Сравнить их невозможно.
Два честных замечания
Модели вышли с разницей в шесть месяцев. Sonnet 4.6 выпустили в феврале 2026 года, а Qwen3.8 27B — в августе 2026 года. Сравнение флагманской модели февраля с открытой моделью августа не является равным.
Sonnet 4.6 уже не лидирует в линейке Anthropic. Sonnet 5 и Opus 5 стоят выше. Открытая модель 27B догнала флагман середины 2026 года, но не текущую топовую модель. Тот, кто утверждает обратное, делает слишком далеко идущие выводы из таблицы.
Тесты измеряют результаты на тестах. Важен только результат на вашей рабочей нагрузке.
Что меняют тернарные веса
Bonsai 2 — это не уменьшенная модель. Это та же модель 26.90B с намного меньшей числовой точностью. Опубликованные метаданные GGUF ясно показывают компромисс.
| Свойство | Значение |
|---|---|
| Архитектура | qwen35, гибридное внимание с полным вниманием на каждом четвертом слое и слоями state-space |
| Параметры | 26.90B |
| Блоки | 64 |
| Ширина эмбеддинга | 5120 |
| Внимание | 24 головы запросов, 4 головы KV, длина ключа/значения 256 |
| Контекст | 262,144 токена, база RoPE 1e7 |
| Формат весов | Тернарный, размер группы 128. PQ2_0 с 2.13 бита на вес, PTQ1_0 с 1.75 |
| Зрительный модуль | CLIP, 460.73M параметров, поставляется отдельным пакетом проектора |
| Лицензия | Apache 2.0 |
При тернарных весах каждый параметр принимает одно из трех значений вместо шестнадцати. В этом и заключается смысл сжатия. Поэтому полная модель 27B помещается в 5.53 GiB вместо 18 GB.
Измеренная пропускная способность
Измерено с помощью llama-bench на RTX 5090 32 GB. Все слои выгружены на GPU, включен flash attention. Приведено среднее по трем запускам:
| Пакет | Веса | Prefill (pp512) | Декодирование (tg128) |
|---|---|---|---|
| PQ2_0 | 6.70 GiB | 3802.74 tok/s | 135.41 tok/s |
| PTQ1_0 | 5.53 GiB | 1876.31 tok/s | 131.41 tok/s |
PQ2_0 выполняет prefill в 2.03 раза быстрее PTQ1_0, а разница в декодировании статистически незначима. Поэтому PQ2_0 — разумный вариант по умолчанию, а PTQ1_0 подходит, когда важен последний 1.2 GiB памяти. При работе через llama-server с контекстом 65K декодирование сохраняло скорость 136.5 tok/s для одного потокового запроса.
Скорость декодирования важна в повседневной работе. 135 токенов за секунду намного быстрее чтения. Задержка не служит причиной для локального вывода, ведь размещенный API достаточно быстр. Причины — цена, конфиденциальность и контроль.
Ловушка, о которой никто не говорит
Стандартная Ollama не загружает эти файлы. Тернарные ядра находятся в ветке llama.cpp от Prism ML. Проверка на Ollama 0.34.2 завершается ошибкой unsupported tensor "output.weight" size overflows. Среда выполнения распознает архитектуру qwen35, но в ее библиотеках нет pq2_0 и ptq1_0, а также среды выполнения для активации Hadamard.
Перед тем как потратить вечер на настройку, учтите еще одну ловушку. Пакет F16 из этой линейки выглядит безопасной запасной версией, но это не так. Его тензоры используют обычные форматы F16 и F32, поэтому файл разбирается и загружается без ошибок, а затем генерирует бессвязный текст. Веса находятся в повернутом базисе, указанном в метаданных prism.hadamard.*. Среда выполнения должна применить соответствующее преобразование, иначе получаются бессмысленные результаты. Пакет F16 также занимает 50.1 GiB и полностью не поместится на карту с 32 GB.
Перед загрузкой прочитайте карточку модели. Зеркало сообщества не является поддерживаемой сборкой, и на странице это сказано прямо.
Волна MoE за этим
Плотные модели 27B — только половина истории. Модели mixture-of-experts активируют для каждого токена лишь небольшую часть параметров, что меняет экономику.
| Модель | Всего / активно | Контекст | Примечание |
|---|---|---|---|
| Qwen3.8 2.4T A95B | 2.4T / 95B | 1.0M | Модель с открытыми весами из семейства Qwen3.8 Max |
| Qwen3.6 35B A3B | 35B / 3B | 262K | Apache 2.0, гибридная разреженная MoE |
| Qwen3 Coder Next | 80B / 3B | 256K | Открытые веса, создана для постоянно работающих агентов-программистов |
Qwen3 Coder Next — модель, за которой стоит следить для локальных задач. Всего у нее 80B параметров, но для каждого токена активируются только 3B. Она предназначена для постоянно работающих агентов в CLI и IDE. Модель с 3B активных параметров генерирует со скоростью модели 3B, используя сохраненные возможности 80B. В заметках разработчиков указана производительность, сопоставимая с моделями, у которых в 10–20 раз больше активных вычислений.
Плотная модель 27B сегодня — безопасный выбор. Эффективность разреженных моделей продолжает расти.
Окно для покупки оборудования закрывается
У этой части истории есть срок.
Локальный вывод стал доступным именно тогда, когда память для него начала дорожать. Эти тенденции столкнулись, и эффект уже виден в розничных ценах.
Что произошло с ценами на память
Контрактные цены на обычную DRAM в первом квартале 2026 года выросли на 90–95 процентов по сравнению с предыдущим кварталом. Это крупнейший квартальный рост по данным TrendForce. NAND flash за тот же период подорожала на 55–60 процентов.
Давление не ослабло. По данным TrendForce, DRAM во втором квартале подорожала еще на 58–63 процента, а NAND — на 70–75 процентов. Даже замедление в третьем квартале, рост DRAM на 13–18 процентов и NAND на 10–15 процентов, лишь добавляется к двум рекордным кварталам, а не означает облегчение.
Причина структурная, а не циклическая. Строительство дата-центров для ИИ поглощает память, которая раньше шла на смартфоны, ноутбуки и игровые консоли. Производители памяти сначала распределяют мощности под более прибыльные заказы. Аналитики рынка модулей ожидают, что в 2027 году поставки чипов DRAM для сборщиков модулей упадут более чем на 70 процентов.
Глава Intel назвал конкретную цифру. На саммите AI Infrastructure Summit в Санта-Кларе 15 сентября 2026 года Lip-Bu Tan сказал, что цены на память уже выросли в “пять, шесть и семь раз” относительно прежних уровней. Он предупредил, что память теперь составляет 70–80 процентов себестоимости дешевого ноутбука. В другом выступлении он сказал, что облегчения не будет до 2028 года.
В независимых публикациях о сравнении стоимости площади пластин DRAM и современных логических чипов есть важная оговорка. Спотовые цены не равны контрактным, а рынок спотовой DDR5 слишком мал, чтобы считать сравнение доказательством. Общее направление изменений не вызывает сомнений.
Как это повлияло на видеокарты
Память составляет большую часть себестоимости видеокарты, поэтому цены DRAM напрямую отражаются на ценах GPU.
| Видеокарта | Начало 2025 года | Сентябрь 2026 года |
|---|---|---|
| Nvidia RTX 5090 | $1,999 | более $5,000 |
| Asus RTX 5080 | $1,199 | $1,595 |
| AMD RX 9070 XT | около $830 | более $1,037 |
Повышения шли согласованными волнами в 2026 году, а не отдельными скачками. Nvidia подняла цены в январе, в мае снова изменила цену RTX 5090, а затем провела еще одно повышение ближе к концу года. AMD последовала в августе: отдельные видеокарты Radeon и комплекты памяти GDDR6 подорожали как минимум на 10 процентов из-за стоимости памяти.
Поколение видеокарт не вышло, а было перенесено. Теперь выпуск серии RTX 60 от Nvidia ожидается в 2028 году, а 2027 год будет пропущен. Причиной называют доступность памяти.
Видеокарта, которую вы покупаете сегодня, конкурирует не с более дешевой картой следующего года. Она конкурирует с собственной более дорогой версией.
Почему ожидание обходится дороже
Обычный совет по оборудованию — подождать следующее поколение. На рынке с дефицитом памяти этот совет работает против вас.
Это объясняют три факта.
Цены уже выросли и продолжают расти. Квартальный скачок контрактных цен DRAM на 90–95 процентов — не временный всплеск, который исчезнет в следующем квартале. TrendForce ожидает дальнейший рост в третьем квартале, а не снижение, и глава Intel называет 2028 год сроком облегчения.
В 2027 году не будет продукта, которого стоит ждать. Если новое поколение потребительских GPU выйдет только в 2028 году, ожидание растянется на два года. Значительную часть цикла обновления оборудования вы потратите впустую.
Модели уже достаточно хороши. Это изменилось в 2026 году. Два года назад локальное оборудование заметно уступало по возможностям. Теперь за те же деньги вы получаете модель 27B со скоростью 135 токенов в секунду и контекстом 262K, превосходящую платный API в сводном индексе интеллекта.
Если вы ждали, когда локальные модели станут достаточно хорошими, ждать больше не нужно. Если вы ждете снижения цены оборудования, данные о поставках указывают на 2028 год.
Что собрать
Подобрать оборудование под описанные модели просто, потому что тернарные веса уменьшили требования к памяти.
| Уровень | Память | Что работает с запасом |
|---|---|---|
| Начальный | 8–12 GB VRAM | Тернарная модель 27B размером 5.53–6.70 GiB с резервом под контекст |
| Практичный | 16–24 GB VRAM | Полная Qwen3.8 27B размером 18 GB или тернарный пакет с длинным контекстом |
| Комфортный | 32 GB VRAM | Тернарная 27B с полным контекстом 262K или MoE 80B с 3B активных параметров |
| Общая память | 64–128 GB | Более крупные разреженные модели MoE на Apple Silicon или настольной системе с общей памятью |
Несколько практических замечаний важнее таблицы уровней:
- Покупайте память, а не флагманскую видеокарту. Тернарный пакет 5.53 GiB делает начальный уровень по-настоящему полезным. Разницу лучше потратить на системную память и хранилище, чем гнаться за дорогой картой по ценам 2026 года.
- Системы с общей памятью дают хорошую ценность. Компьютер с 64 GB общей памяти запускает более крупные разреженные модели за долю цены отдельной видеокарты с таким же объемом.
- Важны питание и охлаждение. Система, которая часами выполняет вывод, ведет себя не так, как при нескольких минутах тестов.
- Запускайте тернарную модель рядом с небольшой. Модель 3B отвечает на быстрые вопросы, а 27B разбирает сложные.
Когда платные модели все еще оправдывают цену
У дорогого уровня есть реальное преимущество, но оно уже, чем обещает маркетинг.
Честный ответ — фактическая надежность. Точность AA-Omniscience составляет 40.9 процента для Sonnet 4.6 и 15.6 процента для открытой модели 27B. Если неверный ответ может стоить клиента, привести к ошибочному диагнозу или навредить юридической позиции, разница в 25 процентных пунктов важнее любого сводного индекса.
Вторая причина — длинные агентные цепочки. Sonnet 4.6 набирает 53.0 процента в Terminal-Bench Hard и 75.7 процента в τ²-Bench Telecom. Они проверяют длительное использование инструментов и поведение агента в нескольких раундах. В карточке открытой модели нет сопоставимых результатов. Это отсутствие не обнадеживает.
Третья причина — эксплуатация. Для размещенного API не нужны обновления драйверов, настройка квантования, отслеживание ветки llama.cpp или корректное преобразование повернутого базиса весов. За доступность отвечает другая сторона, и она же принимает вызовы в три часа ночи.
Вопрос, который стоит задать
Как оправдать дорогую модель за пределами предприятий?
Для работы, где важны знания, она по-прежнему нужна. Исследования, юридический анализ, медицинские вопросы, финансовое моделирование и любые задачи, где уверенный, но неверный ответ дорого обходится. Это реальная категория, и разрыв в точности — веская причина платить.
Для генеративной работы обоснование быстро слабеет. Черновики, краткие пересказы, рефакторинг кода, форматирование данных, классификация документов и автоматизированные процессы — задачи, где результат проверяют до использования. Разница в точности мало значит, если человек или тестовый набор сначала проверяет ответ. Для таких нагрузок трудно оправдать оплату за токен ради индекса 30.1, когда индекс 33.7 бесплатно работает на уже имеющемся оборудовании.
Выбор теперь зависит от последствий, а не возможностей. Два года назад спрашивали, справится ли локальная модель с задачей вообще. Сегодня спрашивают, сколько стоит ошибка и как ее поймать.
Корпоративная надбавка оплачивает надежность, соответствие требованиям и дежурство чужой команды. Остальные платят за разницу, которая перестает иметь значение, когда ответ проверяют тесты.
Ключевые выводы
- Локальная модель 27B превосходит Claude Sonnet 4.6 в сводном индексе интеллекта, 33.7 против 30.1. Она также лидирует в программировании, агентных задачах, длинном контексте и научном рассуждении.
- Sonnet 4.6 лучше по фактической точности, 40.9 процента против 15.6 в AA-Omniscience. Это самый веский оставшийся аргумент в пользу платного уровня.
- Тернарное квантование делает результат практичным. Bonsai 2 27B запускает ту же модель 26.90B в 5.53 GiB вместо 18 GB. Обе модели распространяются по Apache 2.0.
- Стандартная Ollama не запускает тернарные пакеты. Нужна ветка llama.cpp от Prism ML, а F16-версия тихо выдает бессвязный текст вместо ошибки.
- Измеренная скорость декодирования на RTX 5090 составляет 135 токенов в секунду, что намного быстрее чтения.
- Цены на память — причина действовать сейчас. Контрактная DRAM подорожала на 90–95 процентов за квартал в 2026 году, а новые потребительские GPU перенесли на 2028 год.
- Цена RTX 5090 выросла с $1,999 до более чем $5,000 менее чем за два года, и подорожали все уровни.
Следующие шаги
- Скачайте модель и проверьте ее на своей нагрузке: Ternary Bonsai 2 27B в Ollama
- Скачайте исходные веса в полной точности, если у вас хватает памяти: Qwen3.8 в Ollama
- Попробуйте модель до сборки компьютера через бесплатную размещенную точку доступа: Qwen3.8 27B бесплатно на OpenRouter
- Сравните с платным уровнем на тех же запросах: Claude Sonnet 4.6 на OpenRouter
- Подберите систему нужного уровня по таблице памяти и купите память до видеокарты.
- Если у вас простаивает Raspberry Pi, проверьте, справится ли он с небольшой моделью: Какие модели ИИ запускаются на Raspberry Pi 4 или 5?
Связанные статьи
| Статья | О чем она |
|---|---|
| Какие модели ИИ запускаются на Raspberry Pi 4 или 5? | Нижняя граница локального вывода и реальные возможности малых плат |
| Сборка помощника ИИ с защитой конфиденциальности для Meshtastic | Локальный помощник на автономном оборудовании, где защита данных обязательна |
| Роль памяти ECC в предотвращении повреждения данных | Почему качество памяти важнее, если в ней размещена большая модель |
| Что такое домашняя лаборатория и нужна ли она вам? | Планирование размещения, питания и охлаждения для горячего оборудования |
Источники
- Ternary Bonsai 2 27B - зеркало модели Ollama
- Qwen3.8 - библиотека моделей Ollama
- Qwen3.8 27B (бесплатно) - тесты и цены OpenRouter
- Claude Sonnet 4.6 - тесты и цены OpenRouter
- Первый тест Bonsai 2 27B - это ЛУЧШАЯ модель ИИ для одной GPU? - Bijan Bowen
- Artificial Analysis - независимая оценка моделей
- TrendForce - прогноз контрактных цен DRAM и NAND
- Чипы памяти теперь дороже вычислительных чипов в пересчете на площадь - Tom’s Hardware
- Снижение цен GPU отложено до 2028 года после рекордного роста DRAM на 95% - Tech Insider
- Tan из Intel: память подорожала до 7 раз, облегчения не будет до 2028 года - shattered.io
- Ветка llama.cpp от Prism ML - тернарные ядра
- Ternary-Bonsai-2-27B-gguf - исходные веса
This article refers to other articles we've written:
-
Какие модели ИИ работают на Raspberry Pi 4 или 5?
Сравните результаты Raspberry Pi 4 и 5 и выберите локальную языковую модель по памяти, скорости и задачам: от компактных LFM2.5 до вариантов 3B и крупнее.
-
Локальный ИИ-помощник для Meshtastic с защитой конфиденциальности
Практический разбор локального ИИ-помощника для Meshtastic с закрытой конфигурацией, очередью TCP-запросов, получением данных и более безопасной панелью.