Как выбрать локальную модель ИИ без цензуры
Table of Contents
Выбор модели: оценивайте каждый вариант по полезным ответам, которые он завершает, сохранённому качеству и объёму памяти, необходимому для вашей нагрузки. Низкое число отказов или популярная карточка модели не подтверждают такие результаты.
У обозначения без цензуры нет стандартной шкалы производительности. Публикаторы моделей используют его для разных изменений весов, дообучений и шаблонов чата. Сравнивайте каждый вариант с исходной моделью и проверяйте задачи, которые собираетесь выполнять.
Что сообщает это обозначение
Аблитерированная модель получила изменения весов, которые меняют некоторые виды отказов. В статье 2024 года о направлении отказа показан один метод на 13 открытых чат-моделях. Более новые инструменты предлагают другие подходы. Например, Heretic 2 описывает абляцию произвольного ранга и направленную абляцию. Обозначение в карточке модели не говорит, какое поведение изменили и на что повлияла правка.
При сравнении моделей разделяйте четыре свойства:
| Свойство | Что проверить |
|---|---|
| Поведение при отказе | На какие запросы модель отвечает отказом, частичным или полным ответом? |
| Сохранение возможностей | Как знания, рассуждения, программирование и форматирование соотносятся с исходной моделью? |
| Завершение ответа | Как часто генерация заканчивается до исчерпания лимита токенов или времени? |
| Совместимость со средой выполнения | Работает ли точный файл с квантованием и хватает ли памяти для нужного контекста? |
Изменённая модель всё равно выдаёт вероятностные результаты. Проверяйте качество по отдельности: точность, надёжность и безопасное применение. Оставьте доступной модель с обычным выравниванием для задач, где важны её защитные механизмы.
Почему число отказов плохо подходит для рейтинга
Оценка отказов измеряет один результат на одном наборе запросов. Она мало говорит о фактической точности, длине ответа или о том, успеет ли модель выдать итоговый ответ до исчерпания бюджета генерации.
В сравнении Qwen3.8-27B, проведённом Sapwell в сентябре 2026 года, базовую модель и восемь вариантов проверили в одинаковой конфигурации сервера. Набор из 13 задач оценивал знания, математику, программирование и правдивость. Отдельный набор HarmBench включал 400 вредоносных запросов, а судья на базе LLM оценивал полные ответы. Результаты относятся к одному семейству моделей, одной видеокарте и одной схеме оценки.
| Вариант Qwen3.8-27B в исследовании | Явные отказы из 400 | Ответы с незавершённым рассуждением |
|---|---|---|
| Базовая модель | 381 | 0% |
| OrcaRouter | 2 | 38% |
| Trohrbaugh | 122 | 15% |
Большое число отказов базовой модели совпало с меньшим числом незавершённых ответов. Малое число отказов OrcaRouter совпало с более высокой долей незавершённых ответов. Trohrbaugh сохранила больше отказов и выдала меньше незавершённых ответов. Выбирайте модель с учётом задачи и приемлемых компромиссов.
Исследование 23 вариантов Gemma 4 E4B выявило существенное снижение некоторых показателей возможностей у наиболее скачиваемого варианта. Менее масштабная правка в тестах осталась близка к базовой модели. Популярность и число загрузок показывают распространённость, а не качество.
Не объединяйте эти измерения в единую оценку. Разделяйте показатели: отказы, завершение, правильность и задержку. Также записывайте набор запросов, версию модели, шаблон чата, среду выполнения, контекст и лимит вывода. Изменение любой из этих настроек меняет смысл сравнения.
Разберитесь с пустыми ответами, прежде чем менять модель
Токены рассуждения расходуют лимит вывода до появления видимого текста. Если лимит исчерпается во время внутреннего рассуждения, некоторые среды возвращают пустой или обрезанный ответ. Это не то же самое, что отказ или завершённый, но неверный ответ.
Бенчмарк Qwen3.6-27B от Sapwell показал влияние этого явления на итоговые оценки. Необработанные результаты по математике сильно различались, потому что некоторые запуски не доходили до финального ответа. Среди завершённых ответов измеренная точность была гораздо ближе. Бенчмарк отделял способность ответить от исчерпания бюджета рассуждения.
Если ответ пуст, проверьте причину остановки среды и журналы. Запишите длину запроса, выделенный контекст, лимит выходных токенов, прошедшее время и факт появления маркера финального ответа. Затем повторите запрос с большим лимитом вывода, если в памяти оборудования есть запас.
| Результат | Вероятная категория для проверки |
|---|---|
| Текст отказа | Модель отклонила запрос. |
| Пустой вывод при достижении лимита токенов | Бюджет вывода исчерпался до финального ответа. |
| Обрезанный вывод | Лимит генерации остановил незавершённый ответ. |
| Ошибка среды выполнения | Не сработал сервер, файл модели или выделение памяти. |
| Завершённый, но неверный ответ | Модель вернула текст, но не прошла проверку правильности. |
Пустой вывод: сначала проверьте результат работы среды, прежде чем считать каждый случай дефектом модели. Большое контекстное окно само по себе не исправит малый лимит вывода, неверный шаблон или тайм-аут приложения.
Выделите VRAM для весов и контекста
Файл модели — лишь один из потребителей памяти. Среде также нужно место для кэша KV, который хранит состояние внимания для активного запроса и ответа, а также для буферов вычислений и других загруженных процессов. Увеличение контекста повышает расход памяти.
В актуальной документации Ollama указаны контекстные окна по умолчанию: 4K при объёме VRAM ниже 24 GiB, 32K при объёме от 24 до 48 GiB и 256K при 48 GiB и выше. Это настройки среды по умолчанию. Проверьте выделенный контекст и размещение процессора командой ollama ps.
Пример для Linux: команда задаёт контекст 16K по умолчанию для новых сеансов сервера Ollama:
OLLAMA_CONTEXT_LENGTH=16384 ollama serve
Сверьте выделенный контекст с обычным размером входных данных и ответов для загруженной модели:
ollama ps
Столбцы CONTEXT и PROCESSOR показывают выделение и то, работает ли модель на GPU или частично вынесена из неё. Выделение контекста: указанный лимит не гарантирует, что всё окно поместится в VRAM.
Начальные варианты по объёму памяти GPU
Варианты для начала: эти семейства моделей встречались в сравнениях вариантов за 2026 год. Размеры файлов взяты из конкретных репозиториев с квантованием. Перед выбором проверьте точный файл, поддержку среды и измеренный расход памяти.
| Память GPU | Вариант для начала | Основное ограничение |
|---|---|---|
| 8 ГБ | Gemma 4 E4B, например вариант coder3101 |
Файл весов остаётся небольшим. Оставьте память для контекста и буферов среды. |
| 12 ГБ | Gemma 4 12B, например файл GGUF Q4 от TrevorJS размером 7,4 ГБ |
Модель получает больше возможностей, но места для длинного контекста меньше, чем у более компактного варианта. |
| 16 ГБ | Модель поменьше или файл Q3 для Qwen3.8-27B | Репозиторий Qwen указывает 13,72 ГБ для Q3_K_S. Публикатор считает этот файл низкокачественным. Запас для контекста будет ограничен. |
| 24 ГБ | Qwen3.8-27B Q4_K_S или Q4_K_M | В актуальном репозитории указаны файлы на 16,71 и 17,77 ГБ. Оставьте место для кэша и буферов. |
| 32 ГБ | Qwen3.8-27B Q6_K | В актуальном репозитории указан файл на 23,46 ГБ. Больший файл оставляет меньше памяти для контекста, чем меньший вариант квантования. |
Используйте эти варианты как отправную точку. Репозитории и версии меняются, а размер файла сам по себе не предсказывает расход памяти средой и качество ответов.
Метки квантования GGUF кратко описывают выбор кодирования. Различия между репозиториями: файлы с одинаковой номинальной разрядностью не обязательно имеют одинаковое качество. В одном репозитории Qwen вариант Q3_K_S обозначен как низкокачественный, а Q4_K_M — как вариант по умолчанию. Перед загрузкой проверьте точный размер, карточку модели, формат запросов и результаты тестов.
О размере кэша и совместимости с локальной GPU читайте в руководстве по локальным моделям, GPU и контексту . Его рекомендации посвящены задачам программирования. Здесь рассматриваются изменённое поведение отказов и оценка.
Проверьте шаблон чата и источник модели
Шаблон чата оборачивает сообщения в токены и инструкции, которые ожидает модель. В пакете модели иногда есть собственный шаблон или системный запрос. Эти изменения влияют на измеренное поведение, даже если исходные веса не меняются.
Влияние шаблона: Sapwell обнаружил вариант Qwen3.8, пакет которого содержал персону с указанием никогда не отказывать и не предупреждать. Заявление о малом числе отказов зависело от шаблона. В его сравнении шаблоны привели к одному формату, чтобы выделить различия между весами. Такой контроль не доказывает, что исходный шаблон вредоносен или непригоден.
Перед установкой: проверьте публикатора, базовую модель, лицензию, процесс преобразования, квантователь, шаблон и историю версий. Сравните вариант с исходной моделью при одинаковых шаблоне и среде. Если карточка модели не описывает метод или конфигурацию тестирования, отметьте происхождение как неизвестное.
Проведите небольшую оценку для своих задач
Составьте повторяемый набор запросов из обычных задач, которые принадлежат вам или на тестирование которых у вас есть разрешение. Добавьте работу, которую будет выполнять модель, фактические вопросы с известными ответами и запросы форматирования с ясными критериями прохождения. Включите несколько безопасных граничных случаев, чтобы поведение отказов оставалось частью решения.
Оставьте настройки теста неизменными для исходной модели и изменённого варианта. Не меняйте системный запрос, шаблон, квантование, версию среды, контекст, лимит вывода и настройки выборки. Сохраните версию модели или хеш файла вместе с результатами.
Записывайте каждый результат отдельно:
- Завершение: финальный ответ, отказ, пустой вывод, обрезанный ответ или ошибка среды.
- Правильность: пройдено или не пройдено по ожидаемому ответу либо критериям.
- Полезность: отвечает ли результат требованиям задачи.
- Задержка: время до первого токена и общее время генерации.
- Память: выделенный контекст, размещение на GPU и пиковый объём VRAM.
- Безопасность: уместный отказ или продолжение для каждого граничного случая.
Повторите набор после изменения одной переменной. Если после увеличения лимита вывода ответ завершается, первая ошибка была связана с бюджетом. Если ответы остаются незавершёнными, проверьте шаблон модели, режим рассуждения, среду и версию модели. Оставляйте вариант только в том случае, если он улучшает целевую задачу без неприемлемой потери точности или безопасности.
Изолируйте развёртывание
Приватность: локальный инференс зависит от всего вашего стека. Проверьте интерфейс, журналы, расширения, телеметрию и сетевые маршруты. Считайте недоверенные веса и собственные шаблоны кодом и конфигурацией третьих сторон.
Публичный доступ: никогда не открывайте конечную точку модели напрямую в общедоступный интернет. Изолируйте доступ инструментов и используйте изменённые варианты только для разрешённых задач. Для удалённого доступа поместите конечную точку за частным шлюзом с аутентификацией, ограничением частоты запросов и изоляцией сети. В исходной статье о направлении отказа отмечены последствия для безопасности при изменениях, удаляющих отказы.
Итог
Правило выбора: выбирайте модель с лучшими проверенными результатами на собственном наборе задач. Используйте число отказов как один из показателей, затем проверьте завершение ответов, правильность, поведение шаблона и запас VRAM. Начните с файла, подходящего вашей GPU, настройте контекст для нагрузки и сравните его с исходной моделью при одинаковых настройках.
Чтобы подобрать GPU, сравните эти результаты с бенчмарком аренды GPU для Qwen 27B . Если точный файл модели или целевой контекст пока неясен, сначала арендуйте или одолжите оборудование.
Источники
- Бенчмарк аблитерации Qwen3.8-27B , Nathan Sapwell, 6 сентября 2026 года.
- Бенчмарк аблитерации Qwen3.6-27B , Nathan Sapwell, 2026-05-17.
- Бенчмарк вариантов Gemma 4 E4B , Nathan Sapwell, 1 августа 2026 года.
- Бенчмарк вариантов Gemma 4 12B , Nathan Sapwell, 28 августа 2026 года.
- Отказы в языковых моделях обусловлены одним направлением , Arditi и др., 2024.
- Документация проекта Heretic .
- Официальная карточка модели Qwen3.8-27B .
- Документация Ollama о длине контекста .
-
Карточка модели Gemma 4 E4B
coder3101. - Файлы GGUF Gemma 4 12B от TrevorJS .
- Файлы GGUF OrcaRouter Qwen3.8-27B .
- Формат GGUF и типы квантования , документация Hugging Face.
- Видеоисточник: Я проверил все локальные модели ИИ без цензуры (от 8 ГБ до 32 ГБ VRAM) .
This article refers to other articles we've written:
-
Какую локальную AI-модель запустить? Руководство по GPU, контексту и программированию на октябрь 2026 года
Практическое руководство за октябрь 2026 года по выбору локальных AI-моделей для агентов программирования. Сравните память GPU, рост KV cache, размер контекста, качество квантования, обработку промптов, настройки рассуждений и стоимость аренды в облаке.