Локальные тесты моделей Hermes: какие сочетания GPU и моделей я бы выбрал
Table of Contents
Для задач Hermes с длинным контекстом я бы начал с Qwen3.5 35B на двух RTX 5060 Ti по 16 ГБ. Проверенный маршрут сохранил 239 153 входных токена через LiteLLM и прошел отдельные проверки инструментов, потоковой передачи, зрения, очереди запросов и отмены. Qwen3.6 подойдет как вариант на одной карте. На системах RTX 3060 Ti и RTX 3070 я бы начал с Qwen3.5 2B или 4B.
Эти рекомендации основаны на запуске моделей через пути инференса, которыми пользуется агент. Я проверил сохранение длинного ввода, циклы вызова инструментов, потоковые ответы, вопросы по изображениям и выгрузку модели. Также я проверил режимы и настройки памяти, потому что успешная загрузка мало говорит о пользе модели при долгом запросе агента.
Для работы агента с инструментами Hermes требует не менее 64 000 токенов контекста. Порогом длинного контекста я выбрал 65 536 фактически обработанных входных токенов. Число входных токенов важнее размера контекста, заявленного сервером. ( Документация провайдера Hermes Agent )
Какие GPU установлены в системах
Буквы обозначают аппаратные комбинации, описанные в результатах.
| Система | GPU в этом тесте | Моя стартовая модель |
|---|---|---|
| A | 2 × GeForce RTX 5060 Ti, по 16 ГБ | Qwen3.5 35B на обеих картах или Qwen3.6 на одной карте |
| B | 1 × RTX 2000E Ada, 16GB | Qwen3.5 9B, если несколько минут обработки длинного ввода подходят задаче |
| C | 1 × RTX 2000E Ada, 16GB | Gemma 3 4B для проверенного пути длинного ввода; Qwen3.5 0.8B без режима рассуждений для узких задач извлечения |
| D | 1 × RTX 2000E Ada, 16GB | Qwen3.5 9B, Gemma 4 12B-IT или GPT-OSS 20B для проверенных нагрузок с крупными моделями |
| E | 9 × GeForce RTX 3060 Ti, по 8 ГБ | Qwen3.5 2B или 4B |
| F | 8 × GeForce RTX 3060 Ti, по 8 ГБ | Qwen3.5 2B или 4B |
| G | 3 × GeForce RTX 3070 | Qwen3.5 2B или 4B |
Число установленных карт не означает, что каждый запрос использовал все GPU. В тестах Qwen3.5 35B и Flash Next задействовались обе карты системы A. Qwen3.6 использовал одну карту. Успешный повторный тест зрения Qwen3.5 4B на системе E использовал одну выбранную карту из пула восьми, а девятая оставалась исключенной из работы ИИ.
Воспринимайте указанные времена как результат совместной работы протестированных модели, среды выполнения и системы. Эти запуски сравнивают рабочие конфигурации, но не изолируют архитектуру GPU как причину разницы в скорости.
Две RTX 5060 Ti делают Qwen3.5 35B моим выбором для длинного контекста
В этих тестах Qwen3.5 35B сохранил наибольший объем ввода. Прямой прогон Ollama сохранил 248 279 входных токенов в контексте среды выполнения на 262 144 токена. Отдельный потоковый запрос через шлюз сохранил 239 153 входных токена, вернул начальный маркер и штатно завершился после 31 выходного токена за 148,12 секунды.
Результат шлюза важен для Hermes, поскольку запрос прошел через брокер и LiteLLM. Отдельные запросы завершили цикл вызова инструмента, распознали красное изображение и вернули два правильных ответа при совместной отправке. Брокер поставил их в очередь. Закрытие потокового запроса освободило брокер и выгрузило модель за 60,31 секунды.
| Запрос Qwen3.5 35B | Входные токены | Выходные токены | Время | Результат |
|---|---|---|---|---|
| прямой Ollama, первый этап прогрессии | 69,429 | 31 | 38.783 s | Точный начальный маркер |
| прямой Ollama, продолжение с общим префиксом | 124,179 | 31 | 28.472 s | Точный начальный маркер |
| прямой Ollama, продолжение с общим префиксом | 182,579 | 31 | 38.974 s | Точный начальный маркер |
| прямой Ollama, продолжение с общим префиксом | 248,279 | 31 | 54.215 s | Точный начальный маркер |
| потоковый запрос брокера | 69,427 | 29 | 38.872 s | Точный начальный маркер |
| потоковый запрос LiteLLM | 239,153 | 31 | 148.12 s | Точный начальный маркер, clean unload |
Последовательные прямые запросы повторно использовали общий префикс, длина которого росла. Их длительность описывает продолжение с прогретым префиксом. Результат 54,215 секунды не является независимым холодным измерением нового запроса на 248K.
На самом длинном прямом этапе модель сообщила примерно о 27,3 млрд байт резидентной памяти на двух GPU. Пиковое использование памяти на картах достигло 14 964 и 12 386 МиБ.
Пиковая температура достигла 62 и 63 °C, ошибок OOM или Xid не было. Для продолжения в настроенном контексте оставалось 13 865 токенов. Короткий ответ-маркер занял 31 токен.
Я бы выбрал этот маршрут, если сохранение большого рабочего набора важнее самой короткой задержки первого ответа. Проверки инструментов и зрения подтверждают полезное поведение агента, а тест длинного ввода проверяет его сохранение. Это разные нагрузки.
Qwen3.6 подходит для одной карты
Qwen3.6-35B-A3B UD-Q4_K_XL сохранил 131 000 входных токенов на одной RTX 5060 Ti. Вторая карта во время теста бездействовала. Это полезная альтернатива, если не стоит выделять обе карты одной модели.
| Запрос Qwen3.6 через шлюз | Входные токены | Выходные токены | Время | Результат |
|---|---|---|---|---|
| первый длинный запрос | 66,007 | 167.82 s | Начальный маркер сохранен | |
| более длинный запрос | 90,000 | 11 | 159.92 s | Начальный маркер сохранен, zero cached input |
| более длинный запрос | 119,999 | 11 | 250.61 s | Начальный маркер сохранен, zero cached input |
| почти достигнут предел времени выполнения | 131,000 | 11 | 287.09 s | Начальный маркер сохранен, zero cached input |
Запрос на 131 000 токенов приблизился к лимиту среды выполнения в 131 072 токена. Для агента я бы оставил больше места для ответа и последующих сообщений инструментов. Результат сохранения у самого лимита полезен для проверки обработки ввода, но не задает разумный бюджет по умолчанию.
Работа инструмента прошла успешно при отключенном размышлении. Стандартный режим размышления израсходовал пробный лимит в 512 токенов до вызова инструмента. Успешный пилот также прошел быстрые, потоковые и визуальные запросы. Первая проверка контекста на 65 845 токенов заняла 139,57 секунды.
Qwen3.8 27B выигрывает сравнение ответов на одинаковом вводе 66K
На той же задаче с маркером на 66 007 токенов в системе A Qwen3.8 27B вернул ответ быстрее всех. Я бы оставил этот маршрут для запросов около проверенного размера ввода, а Qwen3.5 35B использовал бы для большего рабочего набора.
| Маршрут системы A | Входные токены | Время | Результат |
|---|---|---|---|
| Qwen3.8 27B | 66,007 | 54.64 s | Начальный маркер сохранен |
| Qwen3.6-35B-A3B UD-Q4_K_XL | 66,007 | 167.82 s | Начальный маркер сохранен |
| Qwen3.8-Flash-Next UD-IQ4_XS | 66,007 | 164.58 s | Начальный маркер сохранен |
| Flash Next IQ4 compatibility alias | 66,007 | 213.25 s | Маркер сохранен |
Qwen3.8 27B затратил примерно треть времени сопоставимых запросов Qwen3.6 и Flash Next. Это наблюдения по полным запросам в протестированных средах выполнения, а не сравнение только оборудования.
Быстрые ответы, потоковая передача и вызов инструментов также прошли проверку. Режим без размышления завершил всю последовательность цветов и цикл инструмента, а тест с размышлением вернул лишь часть последовательности в пределах 512 токенов.
Flash Next менее привлекателен как вариант по умолчанию на этой системе из-за нехватки памяти. Пилот на 65 847 токенов завершился успешно за 201,41 секунды при контексте среды выполнения 98 304. Два предыдущих профиля с контекстом 131 072 достигли предела памяти до готовности.
Поздний маршрут достиг лимита cgroup в 54 ГиБ. Для работы без присмотра я бы выбрал вариант с большим запасом памяти.
Маршрут с меткой flash-iq2 использовал бэкенд совместимости Flash Next IQ4. Название не означает результат IQ2.
RTX 2000E Ada обрабатывает длинный ввод, но выбор модели меняет ожидание
Gemma 3 4B — мой предпочтительный протестированный вариант для длинного ввода в системе C. Два пути сохранили более 84K входных токенов примерно за 88 секунд. Более крупные модели тоже прошли полезные проверки сохранения, но их запросы занимали несколько минут.
| Система | Модель и путь | Входные токены | Время | Результат |
|---|---|---|---|---|
| B | Qwen3.5 9B, шлюз | 72,265 | 263 s | Оба маркера сохранены; последующая проверка восстановления майнинга пройдена |
| C | Gemma 3 4B, шлюз | 84,044 | 88.05 s | Начальный маркер сохранен |
| C | Gemma 3 4B, Aperture | 84,045 | 87.68 s | Начальный маркер сохранен |
| C | Gemma 4 12B-IT, шлюз | 67,254 | 263.07 s | Начальный маркер сохранен |
| C | Gemma 4 12B-IT, Aperture без потоковой передачи | 67,255 | 274.24 s | Начальный маркер сохранен |
| C | Gemma 4 12B-IT, потоковая передача Aperture | 67,255 | 282.16 s | Начальный маркер сохранен |
| C | Qwen3.5 9B, шлюз | 75,648 | 319.36 s | Начальный маркер сохранен, модель выгружена из памяти |
| C | GPT-OSS 20B, шлюз | 84,099 | 315.83 s | Начальный маркер сохранен, модель выгружена из памяти |
| D | Qwen3.5 9B, Aperture | 81,051 | 324.07 s | Сохранение проверено на установленном артефакте |
| D | Gemma 4 12B-IT, Aperture | 72,057 | 300.67 s | Сохранение проверено на установленном артефакте |
| D | GPT-OSS 20B, Aperture | 72,104 | 245.94 s | Сохранение проверено на установленном артефакте |
Потоковая передача не устранила длительную предподготовку Gemma 4 на системе C. Первый потоковый контент появился через 277,49 секунды, позже полного ответа без потока за 274,24 секунды. Предыдущая попытка без потока завершилась по тайм-ауту до успешного повтора. Я бы использовал этот маршрут только для задач, где допустима начальная обработка в несколько минут.
Gemma 3 4B показывает, почему квалификацию нужно привязывать к каждой проверенной системе. Система D не нашла начальный маркер в двух тестах извлечения 65K, включая повтор при нулевой температуре и 67 252 входных токенах. Детерминированный запрос штатно завершился за 62,07 секунды при полной загрузке GPU.
Быстрое завершение и обычный ответ API не означают, что ответ верен. Я бы использовал успешный маршрут системы C и исключил неудачный маршрут системы D из выбора Hermes.
Режим размышления определяет полезность Qwen3.5 0.8B
После отключения размышления Qwen3.5 0.8B стал полезным кандидатом для узких задач извлечения на системе C. Небольшая модель Q8_0 сохранила 75 649 входных токенов через шлюз за 65,92 секунды. Этот результат относится к проверенному артефакту Q8_0 и режиму без размышления, а не к старым конфигурациям с контекстом 16K в других строках таблицы.
| Запрос Qwen3.5 0.8B на системе C | Входные токены | Выходные токены | Время | Результат |
|---|---|---|---|---|
| короткая диагностика со стандартным режимом рассуждений | 9,050 | 3,391 | 66.56 s | Точный начальный маркер |
| рассуждения выключены, сопоставимая диагностика | 9,055 | 21 | 7.65 s | Точный начальный маркер, no reasoning text |
| длинная попытка со стандартным режимом рассуждений | Тайм-аут 600 с | Завершенного ответа нет | ||
| рассуждения выключены, нативный Ollama | 75,656 | 22 | 69.80 s | Точный начальный маркер |
| совместимая с OpenAI точка доступа без рассуждений | 75,646 | 12 | 69.09 s | Точный начальный маркер |
| Брокер с принудительным режимом без рассуждений | 75,647 | 13 | 66.83 s | Точный начальный маркер |
| LiteLLM с системы A на систему C | 75,649 | 15 | 65.92 s | Точный начальный маркер |
В сопоставимой диагностике время снизилось с 66,56 до 7,65 секунды, примерно в 8,7 раза, а объем вывода уменьшился с 3 391 до 21 токена. Поэтому для простого извлечения и маршрутизации я бы явно задавал режим рассуждений. Режим по умолчанию потратил большую часть работы на ненужный вывод.
Короткая проба OpenAI-совместимого интерфейса не нашла маркер, но повтор при нулевой температуре прошел. Успешные проверки маршрутов использовали режим без размышления и естественное завершение без лимита вывода. Еще три шлюза прошли короткие тесты маркера за 4,22, 4,37 и 3,85 секунды. Они подтверждают маршрутизацию, а запрос на 75 649 токенов — сохранение длинного ввода через шлюз.
Я бы испытал этот вариант для ограниченного извлечения и выборки данных. Для открытого рассуждения агента выбрал бы модель крупнее. Восстановление одного синтетического маркера — более узкая задача, чем планирование, программирование или координация нескольких инструментов.
Системы RTX 3060 Ti и RTX 3070 подходят для Qwen3.5 2B и 4B
Qwen3.5 2B и 4B — мои практичные стартовые модели для карт на 8 ГБ. Текстовые запросы с контекстом в системах E, F и G прошли с 65 579 входными токенами за 30,343–93,753 секунды. Протестированные маршруты 4B также прошли проверки инструментов, потока и изображения.
Повторный тест визуального контекста 4B на системе E сохранил оба маркера и порядок цветов изображения при 65 637 входных токенах за 44,88 секунды. Запросы с прямым и обратным порядком цветов тоже прошли. В повторе использовалась исправная карта после того, как другая получила ошибку соединения Xid 79 и система перезагрузилась.
| Система | Текстовый контекст Qwen3.5 2B | Текстовый контекст Qwen3.5 4B | Контекст зрения Qwen3.5 4B |
|---|---|---|---|
| E, RTX 3060 Ti pool | 65,579 tokens, 30.343 s | 65,579 tokens, 53.787 s | 65,637 tokens, 44.88 s |
| F, RTX 3060 Ti pool | 65,579 tokens, 61.282 s | 65,579 tokens, 93.753 s | 65,635 tokens, 84.749 s |
| G, RTX 3070 pool | 65,579 tokens, 76.731 s | 65,579 tokens, 90.807 s | 65,635 tokens, 87.496 s |
Каждая из этих систем зарегистрировала 29 успешных проверок. Разница времени между двумя системами RTX 3060 Ti также показывает, почему я выбрал бы проверенный профиль, а не ранжировал карты по длительности этих запросов.
Все семь систем вернулись к майнингу после окна инференса. Отдельная проверка восстановления после остановки системы B прошла с новыми принятыми шарами. Неисправная карта в системе E позже вернулась к майнингу после перезагрузки и усиления PCIe-соединения, но осталась исключенной из пула ИИ. Восстановление майнинга в конце окна отличается от автоматической передачи после одного запроса инференса.
Загрузка модели не означает квалификацию
Я бы исключил DeepSeek Coder V2 16B из проверенных вариантов Hermes 65K. Запуск с кэшем f16 сохранил 50 477 входных токенов, но тест с целью 65K достиг ограничения VRAM. Альтернативы кэша Q4 и Q8 загрузили веса на GPU, но затем уперлись в пределы памяти хоста или низкую скорость длинных промптов.
| Профиль кэша DeepSeek Coder V2 | Контекст среды выполнения | Наблюдаемый результат | Моя оценка |
|---|---|---|---|
| f16 | 81,920 | восстановление 50 477 токенов прошло, слишком большой запрос отклонён | Полезный результат для короткого контекста |
| f16 | 73,728 | предварительная обработка цели 65K остановлена при использовании GPU 15 802 МиБ | Не соответствует требованиям 65K |
| Q4_0 | 98,304 | До контролируемой остановки скорость длинного предварительного заполнения упала до 96.72 токена/с | Плохо подходит для этой нагрузки |
| Q8_0 | 77,824 | До контролируемой остановки скорость длинного предварительного заполнения упала до 120.12 токена/с | Плохо подходит для этой нагрузки |
| Q4_0 / Q8_0, более крупные профили | 163,840 / 98,304 | Защита памяти хоста остановила испытания | Оценивать память нужно для всей системы |
Практический вывод: тестируйте запрос, который собираетесь отправить. Занятость GPU, короткий ответ и большой заданный контекст не доказывают сохранение длинного ввода при приемлемой задержке.
Granite 4.2 8B и GPT-OSS 20B улучшились после доработки конкретных маршрутов на системе A. Маршрут Granite Q6_K сохранил 66 082 входных токена за 88,636 секунды при нулевом кэшированном вводе. GPT-OSS завершил цикл инструмента после исправления брокера: вызов занял 9,854 секунды, последующий запрос — 9,849. Эти успешные проверки маршрута я отделяю от предыдущих неполных попыток.
Полные результаты бенчмарка
Таблица содержит 295 проверок для 59 комбинаций моделей и систем. Матрица показывает 273 успешные проверки, один неудачный тест извлечения и семь неполных, противоречивых или несовместимых результатов. Четырнадцать проверок вне области квалификации 65K. В каждой строке указан измеренный результат.
Рекомендации относятся к успешным маршрутам и нагрузкам. Неудачная или неполная строка не подтверждает соответствующее поведение.
Успешные проверки короткого контекста и эмбеддингов относятся к своим задачам. Проверка контекста 16K или 32K не квалифицирует маршрут для нагрузки Hermes с 65 536 входными токенами. Здесь названия моделей — метки маршрутов. flash-iq2 использовал бэкенд совместимости IQ4.
Строка контекста Qwen3.5 35B для системы A — последний этап общей последовательности префикса выше. Времена инструментов со знаком плюс отдельно показывают вызов и продолжение.
Строка параллелизма показывает время двух запросов в очереди. Строка отмены показывает время освобождения после закрытия потока клиентом. Дополнительные последовательности контекста и сравнения маршрутов Qwen3.5 0.8B приведены в отдельных таблицах выше.
Система A
| Метка маршрута модели | Проверка | Результат | Входные токены | Длительность запроса |
|---|---|---|---|---|
| bonsai-2-27b | context | Успех | 65,621 | 88.746 s |
| bonsai-2-27b | quick | Успех | 57 | 6.429 s |
| bonsai-2-27b | stream | Успех | 9.371 s | |
| bonsai-2-27b | tools | Успех | 10.478 s | |
| deepseek-coder-v2:16b | context | Несовместимо | 50,477 | |
| deepseek-coder-v2:16b | quick | Успех | 77 | 43.239 s |
| flash-iq2 | context | Успех | 66,007 | 213.25 s |
| flash-iq2 | quick | Успех | 56.03 s | |
| flash-iq2 | stream | Успех | 1.35 s | |
| flash-iq2 | tools | Успех | 16.55 s | |
| gemma-4-12b-it | context | Успех | 65,590 | 51.225 s |
| gemma-4-12b-it | quick | Успех | 21 | 5.166 s |
| gemma-4-12b-it | stream | Успех | 4.653 s | |
| gemma-4-12b-it | tools | Успех | 18.72 s | |
| gemma-4-12b-it | vision | Успех | 115 | 7.222 s |
| gemma-4-12b-it | vision_context | Успех | 65,685 | 56.06 s |
| gemma-4-12b-it | vision_reverse | Успех | 115 | 7.467 s |
| gemma-4-e4b-it | context | Успех | 65,590 | 21.889 s |
| gemma-4-e4b-it | quick | Успех | 21 | 17.919 s |
| gemma-4-e4b-it | stream | Успех | 4.25 s | |
| gemma-4-e4b-it | tools | Успех | 8.734 s | |
| gpt-oss-20b | context | Успех | 65,637 | 159.155 s |
| gpt-oss-20b | quick | Успех | 73 | 10.548 s |
| gpt-oss-20b | stream | Успех | 20.594 s | |
| gpt-oss-20b | tools | Успех | 9.854 + 9.849 s | |
| granite-4.2-3b | context | Успех | 65,589 | 70.968 s |
| granite-4.2-3b | quick | Успех | 20 | 4.009 s |
| granite-4.2-3b | stream | Успех | 5.365 s | |
| granite-4.2-3b | tools | Успех | 6.086 s | |
| granite-4.2-8b | context | Успех | 66,082 | 88.636 s |
| granite-4.2-8b | quick | Успех | 20 | 5.857 s |
| granite-4.2-8b | stream | Успех | 11.826 s | |
| granite-4.2-8b | tools | Успех | 11.852 s | |
| qwen27b | context | Успех | 66,007 | 54.64 s |
| qwen27b | quick | Успех | 57 | 31.5 s |
| qwen27b | stream | Успех | 0.92 s | |
| qwen27b | tools | Успех | 4.25 s | |
| qwen3-embedding-0.6b | context | Успех | 32,767 | 7.736 s |
| qwen3-embedding-0.6b | quick | Успех | 14 | 2.125 s |
| qwen3.5-0.8b | context | Успех | 16,429 | 10.5 s |
| qwen3.5-0.8b | quick | Успех | 17 | 14.316 s |
| qwen3.5-0.8b | stream | Успех | 2.125 s | |
| qwen3.5-0.8b | tools | Успех | 4.416 s | |
| qwen3.5-2b | context | Успех | 65,581 | 11.175 s |
| qwen3.5-2b | quick | Успех | 17 | 4.519 s |
| qwen3.5-2b | stream | Успех | 3.736 s | |
| qwen3.5-2b | tools | Успех | 5.046 s | |
| qwen3.5-4b | context | Успех | 65,579 | 36.451 s |
| qwen3.5-4b | quick | Успех | 15 | 19.935 s |
| qwen3.5-4b | stream | Успех | 17.496 s | |
| qwen3.5-4b | tools | Успех | 7.308 s | |
| qwen3.5-4b | vision | Успех | 70 | 7.848 s |
| qwen3.5-4b | vision_context | Успех | 65,635 | 28.24 s |
| qwen3.5-4b | vision_reverse | Успех | 70 | 4.386 s |
| qwen3.5-9b | context | Успех | 65,581 | 34.139 s |
| qwen3.5-9b | quick | Успех | 17 | 3.88 s |
| qwen3.5-9b | stream | Успех | 3.378 s | |
| qwen3.5-9b | tools | Успех | 10.204 s | |
| qwen3.5-9b | vision | Успех | 72 | 4.441 s |
| qwen3.5-9b | vision_context | Успех | 65,637 | 33.745 s |
| qwen3.5-9b | vision_reverse | Успех | 72 | 3.97 s |
| qwen3.5:35b-a3b-q4_K_M | cancellation | Успех | 60.31 s | |
| qwen3.5:35b-a3b-q4_K_M | concurrency | Успех | 26.23 / 25.33 s | |
| qwen3.5:35b-a3b-q4_K_M | context | Успех | 248,279 | 54.215 s |
| qwen3.5:35b-a3b-q4_K_M | gateway | Успех | 239,153 | 148.12 s |
| qwen3.5:35b-a3b-q4_K_M | quick | Успех | 79 | 10.08 s |
| qwen3.5:35b-a3b-q4_K_M | stream | Успех | 69,429 | 38.783 s |
| qwen3.5:35b-a3b-q4_K_M | tools | Успех | 15.22 + 14.83 s | |
| qwen3.5:35b-a3b-q4_K_M | vision | Успех | 18.39 s | |
| Qwen3.6-35B-A3B UD-Q4_K_XL | context | Успех | 65,845 | 139.57 s |
| Qwen3.6-35B-A3B UD-Q4_K_XL | quick | Успех | 15 | 3.97 s |
| Qwen3.6-35B-A3B UD-Q4_K_XL | stream | Успех | 0.45 s | |
| Qwen3.6-35B-A3B UD-Q4_K_XL | tools | Успех | 293 | 5.48 s |
| Qwen3.6-35B-A3B UD-Q4_K_XL | vision | Успех | 38 | 0.59 s |
| Qwen3.8-Flash-Next UD-IQ4_XS | context | Успех | 65,847 | 201.41 s |
| Qwen3.8-Flash-Next UD-IQ4_XS | quick | Успех | 17 | 54.62 s |
| Qwen3.8-Flash-Next UD-IQ4_XS | stream | Успех | 1.2 s | |
| Qwen3.8-Flash-Next UD-IQ4_XS | tools | Успех | 22.18 s | |
| Qwen3.8-Flash-Next UD-IQ4_XS | vision | Успех | 3.86 s |
Система B
| Метка маршрута модели | Проверка | Результат | Входные токены | Длительность запроса |
|---|---|---|---|---|
| gemma-4-12b-it | context | Успех | 65,590 | 299.163 s |
| gemma-4-12b-it | quick | Успех | 21 | 15.261 s |
| gemma-4-12b-it | stream | Успех | 148.792 s | |
| gemma-4-12b-it | tools | Успех | 34.124 s | |
| gemma-4-12b-it | vision | Успех | 120 | 61.455 s |
| gemma-4-12b-it | vision_context | Успех | 65,690 | 295.581 s |
| gemma-4-12b-it | vision_reverse | Успех | 120 | 32.511 s |
| gemma3-4b | context | Успех | 65,584 | 67.382 s |
| gemma3-4b | quick | Успех | 15 | 6.329 s |
| gemma3-4b | stream | Успех | 24.138 s | |
| gemma3-4b | vision | Успех | 306 | 7.018 s |
| gemma3-4b | vision_context | Успех | 65,876 | 70.912 s |
| gemma3-4b | vision_reverse | Успех | 306 | 5.762 s |
| gpt-oss-20b | context | Успех | 65,637 | 206.767 s |
| gpt-oss-20b | quick | Успех | 72 | 16.583 s |
| gpt-oss-20b | stream | Успех | 32.075 s | |
| gpt-oss-20b | tools | Успех | 28.102 s | |
| nomic-embed-text | context | Неполно | 2,048 | |
| nomic-embed-text | quick | Успех | 7.117 s | |
| qwen3-14b | context | Неполно | 1800.09 s | |
| qwen3-14b | quick | Успех | 15 | 37.199 s |
| qwen3-14b | stream | Успех | 35.471 s | |
| qwen3-14b | tools | Успех | 87.554 s | |
| qwen3-8b | context | Вне области 65K, исключено | ||
| qwen3-8b | quick | Вне области 65K, успешно | 15 | 21.059 s |
| qwen3-8b | stream | Вне области 65K, исключено | ||
| qwen3-8b | tools | Вне области 65K, исключено | ||
| qwen3.5-9b | context | Успех | 65,579 | 282.796 s |
| qwen3.5-9b | litellm_long_route | Успех | 72,265 | 263 s |
| qwen3.5-9b | post_external_stop_mining | Успех | ||
| qwen3.5-9b | quick | Успех | 15 | 25.881 s |
| qwen3.5-9b | stream | Успех | 143.44 s | |
| qwen3.5-9b | tools | Успех | 31.812 s | |
| qwen3.5-9b | vision | Успех | 75 | 32.015 s |
| qwen3.5-9b | vision_context | Успех | 65,640 | 396.288 s |
| qwen3.5-9b | vision_reverse | Успех | 75 | 28.626 s |
Система C
| Метка маршрута модели | Проверка | Результат | Входные токены | Длительность запроса |
|---|---|---|---|---|
| gemma-4-12b-it | aperture_context | Успех | 67,255 | 274.24 s |
| gemma-4-12b-it | aperture_short | Успех | 35 | 39.32 s |
| gemma-4-12b-it | aperture_stream_context | Успех | 67,255 | 282.16 s |
| gemma-4-12b-it | context | Успех | 65,670 | 313.661 s |
| gemma-4-12b-it | gateway_context | Успех | 67,254 | 263.07 s |
| gemma-4-12b-it | gateway_short | Успех | 27 | 20.98 s |
| gemma-4-12b-it | quick | Успех | 21 | 16.447 s |
| gemma-4-12b-it | stream | Успех | 15.175 s | |
| gemma-4-12b-it | tools | Успех | 37.821 s | |
| gemma-4-12b-it | vision | Успех | 120 | 58.52 s |
| gemma-4-12b-it | vision_context | Успех | 65,690 | 308.759 s |
| gemma-4-12b-it | vision_reverse | Успех | 120 | 31.25 s |
| gemma3-4b | aperture_context | Успех | 84,045 | 87.68 s |
| gemma3-4b | aperture_after_system_d_route_change | Успех | 24 | 5.42 s |
| gemma3-4b | aperture_short | Успех | 22 | 5.45 s |
| gemma3-4b | aperture_stream | Успех | 3.72 s | |
| gemma3-4b | context | Успех | 65,664 | 67.543 s |
| gemma3-4b | gateway_context | Успех | 84,044 | 88.05 s |
| gemma3-4b | gateway_short_via_system_a | Успех | 3.16 s | |
| gemma3-4b | gateway_short_via_system_e | Успех | ||
| gemma3-4b | gateway_short_via_system_f | Успех | 4.15 s | |
| gemma3-4b | gateway_short_via_system_g | Успех | 6.06 s | |
| gemma3-4b | quick | Успех | 15 | 5.163 s |
| gemma3-4b | stream | Успех | 24.691 s | |
| gemma3-4b | vision | Успех | 306 | 7.318 s |
| gemma3-4b | vision_context | Успех | 65,876 | 72.476 s |
| gemma3-4b | vision_reverse | Успех | 306 | 5.831 s |
| gpt-oss-20b | context | Успех | 65,716 | 216.594 s |
| gpt-oss-20b | gateway_context | Успех | 84,099 | 315.83 s |
| gpt-oss-20b | gateway_short | Противоречиво | ||
| gpt-oss-20b | quick | Успех | 72 | 21.603 s |
| gpt-oss-20b | stream | Успех | 31.957 s | |
| gpt-oss-20b | tools | Успех | 26.096 s | |
| nomic-embed-text | context | Вне области 65K, неполно | 2,048 | |
| nomic-embed-text | quick | Вне области 65K, успешно | 4.178 s | |
| qwen3-14b | context | Вне области 65K, неполно | 1800.06 s | |
| qwen3-14b | quick | Вне области 65K, успешно | 15 | 35.809 s |
| qwen3-14b | stream | Вне области 65K, успешно | 35.43 s | |
| qwen3-14b | tools | Вне области 65K, успешно | 87.723 s | |
| qwen3-8b | context | Вне области 65K, исключено | ||
| qwen3-8b | quick | Вне области 65K, успешно | 15 | 21.293 s |
| qwen3-8b | stream | Вне области 65K, неполно | 900.01 s | |
| qwen3-8b | tools | Вне области 65K, исключено | ||
| qwen3.5-9b | context | Успех | 65,662 | 287.984 s |
| qwen3.5-9b | gateway_context | Успех | 75,648 | 319.36 s |
| qwen3.5-9b | gateway_short | Успех | 21 | 72.14 s |
| qwen3.5-9b | quick | Успех | 15 | 24.635 s |
| qwen3.5-9b | stream | Успех | 143.157 s | |
| qwen3.5-9b | tools | Успех | 30.395 s | |
| qwen3.5-9b | vision | Успех | 75 | 27.756 s |
| qwen3.5-9b | vision_context | Успех | 65,640 | 398.797 s |
| qwen3.5-9b | vision_reverse | Успех | 75 | 28.645 s |
Система D
| Метка маршрута модели | Проверка | Результат | Входные токены | Длительность запроса |
|---|---|---|---|---|
| gemma-4-12b-it | context | Успех | 65,590 | 275.395 s |
| gemma-4-12b-it | exact_digest_aperture_65k | Успех | 72,057 | 300.67 s |
| gemma-4-12b-it | exact_digest_broker_short | Успех | 34 | 30.74 s |
| gemma-4-12b-it | quick | Успех | 21 | 15.05 s |
| gemma-4-12b-it | stream | Успех | 14.722 s | |
| gemma-4-12b-it | tools | Успех | 33.869 s | |
| gemma-4-12b-it | vision | Успех | 120 | 56.315 s |
| gemma-4-12b-it | vision_context | Успех | 65,690 | 282.174 s |
| gemma-4-12b-it | vision_reverse | Успех | 120 | 29.978 s |
| gemma3-4b | context | Успех | 65,584 | 63.564 s |
| gemma3-4b | exact_digest_65k_recall | Не пройдено | 67,252 | 62.07 s |
| gemma3-4b | quick | Успех | 15 | 5.151 s |
| gemma3-4b | stream | Успех | 22.552 s | |
| gemma3-4b | vision | Успех | 306 | 8.276 s |
| gemma3-4b | vision_context | Успех | 65,876 | 67.575 s |
| gemma3-4b | vision_reverse | Успех | 306 | 5.651 s |
| gpt-oss-20b | context | Успех | 65,637 | 189.07 s |
| gpt-oss-20b | exact_digest_aperture_65k | Успех | 72,104 | 245.94 s |
| gpt-oss-20b | exact_digest_broker_short | Успех | 84 | 15.96 s |
| gpt-oss-20b | quick | Успех | 72 | 15.431 s |
| gpt-oss-20b | stream | Успех | 31.052 s | |
| gpt-oss-20b | tools | Успех | 23.65 s | |
| nomic-embed-text | context | Неполно | 2,048 | |
| nomic-embed-text | quick | Успех | 2.798 s | |
| qwen3-14b | context | Неполно | 40,939 | 872.209 s |
| qwen3-14b | quick | Успех | 15 | 36.021 s |
| qwen3-14b | stream | Успех | 33.491 s | |
| qwen3-14b | tools | Успех | 82.471 s | |
| qwen3-8b | context | Неполно | 1800.07 s | |
| qwen3-8b | quick | Успех | 15 | 19.283 s |
| qwen3-8b | stream | Успех | 19.401 s | |
| qwen3-8b | tools | Успех | 65.054 s | |
| qwen3.5-9b | context | Успех | 65,579 | 258.048 s |
| qwen3.5-9b | exact_digest_aperture_65k | Успех | 81,051 | 324.07 s |
| qwen3.5-9b | exact_digest_broker_short | Успех | 29 | 94.48 s |
| qwen3.5-9b | quick | Успех | 15 | 27.16 s |
| qwen3.5-9b | stream | Успех | 28.62 s | |
| qwen3.5-9b | tools | Успех | 28.129 s | |
| qwen3.5-9b | vision | Успех | 75 | 25.047 s |
| qwen3.5-9b | vision_context | Успех | 65,640 | 369.477 s |
| qwen3.5-9b | vision_reverse | Успех | 75 | 27.602 s |
Система E
| Метка маршрута модели | Проверка | Результат | Входные токены | Длительность запроса |
|---|---|---|---|---|
| gemma-4-e4b-it | context | Успех | 65,590 | 49.086 s |
| gemma-4-e4b-it | quick | Успех | 21 | 23.911 s |
| gemma-4-e4b-it | stream | Успех | 28.136 s | |
| gemma-4-e4b-it | tools | Успех | 56.756 s | |
| granite-4.0-h-tiny | context | Успех | 65,566 | |
| granite-4.0-h-tiny | quick | Успех | 35 | 10.408 s |
| granite-4.0-h-tiny | stream | Успех | 27.798 s | |
| granite-4.0-h-tiny | tools | Успех | 43.304 s | |
| granite-4.2-3b | context | Успех | 65,589 | 1014.03 s |
| granite-4.2-3b | quick | Успех | 20 | 14.569 s |
| granite-4.2-3b | stream | Успех | 6.948 s | |
| granite-4.2-3b | tools | Успех | 56.376 s | |
| qwen3-embedding-0.6b | context | Успех | 32,767 | 20.387 s |
| qwen3-embedding-0.6b | quick | Успех | 14 | 9.592 s |
| qwen3.5-0.8b | context | Успех | 16,429 | 9.128 s |
| qwen3.5-0.8b | quick | Успех | 17 | 452.417 s |
| qwen3.5-0.8b | stream | Успех | 11.163 s | |
| qwen3.5-0.8b | tools | Успех | 39.214 s | |
| qwen3.5-2b | context | Успех | 65,579 | 30.343 s |
| qwen3.5-2b | quick | Успех | 15 | 12.509 s |
| qwen3.5-2b | stream | Успех | 26.165 s | |
| qwen3.5-2b | tools | Успех | 42.056 s | |
| qwen3.5-4b | context | Успех | 65,579 | 53.787 s |
| qwen3.5-4b | quick | Успех | 15 | 26.736 s |
| qwen3.5-4b | stream | Успех | 26.02 s | |
| qwen3.5-4b | tools | Успех | 57.293 s | |
| qwen3.5-4b | vision | Успех | 72 | 10.09 s |
| qwen3.5-4b | vision_context | Успех | 65,637 | 44.88 s |
| qwen3.5-4b | vision_reverse | Успех | 72 | 9.96 s |
Система F
| Метка маршрута модели | Проверка | Результат | Входные токены | Длительность запроса |
|---|---|---|---|---|
| gemma-4-e4b-it | context | Успех | 65,590 | 98.443 s |
| gemma-4-e4b-it | quick | Успех | 21 | 27.51 s |
| gemma-4-e4b-it | stream | Успех | 28.042 s | |
| gemma-4-e4b-it | tools | Успех | 73.891 s | |
| granite-4.0-h-tiny | context | Успех | 65,599 | 19.692 s |
| granite-4.0-h-tiny | quick | Успех | 35 | 43.818 s |
| granite-4.0-h-tiny | stream | Успех | 27.296 s | |
| granite-4.0-h-tiny | tools | Успех | 75.377 s | |
| granite-4.2-3b | context | Успех | 65,589 | 145.179 s |
| granite-4.2-3b | quick | Успех | 20 | 15.703 s |
| granite-4.2-3b | stream | Успех | 35.482 s | |
| granite-4.2-3b | tools | Успех | 52.539 s | |
| qwen3-embedding-0.6b | context | Успех | 32,767 | 20.656 s |
| qwen3-embedding-0.6b | quick | Успех | 14 | 8.122 s |
| qwen3.5-0.8b | context | Успех | 16,429 | 13.326 s |
| qwen3.5-0.8b | quick | Успех | 17 | 445.22 s |
| qwen3.5-0.8b | stream | Успех | 13.266 s | |
| qwen3.5-0.8b | tools | Успех | 40.825 s | |
| qwen3.5-2b | context | Успех | 65,579 | 61.282 s |
| qwen3.5-2b | quick | Успех | 15 | 16.738 s |
| qwen3.5-2b | stream | Успех | 25.29 s | |
| qwen3.5-2b | tools | Успех | 47.444 s | |
| qwen3.5-4b | context | Успех | 65,579 | 93.753 s |
| qwen3.5-4b | quick | Успех | 15 | 33.039 s |
| qwen3.5-4b | stream | Успех | 25.658 s | |
| qwen3.5-4b | tools | Успех | 71.731 s | |
| qwen3.5-4b | vision | Успех | 70 | 43.053 s |
| qwen3.5-4b | vision_context | Успех | 65,635 | 84.749 s |
| qwen3.5-4b | vision_reverse | Успех | 70 | 27.518 s |
Система G
| Метка маршрута модели | Проверка | Результат | Входные токены | Длительность запроса |
|---|---|---|---|---|
| gemma-4-e4b-it | context | Успех | 65,590 | 92.696 s |
| gemma-4-e4b-it | quick | Успех | 21 | 38.329 s |
| gemma-4-e4b-it | stream | Успех | 43.549 s | |
| gemma-4-e4b-it | tools | Успех | 66.616 s | |
| granite-4.0-h-tiny | context | Успех | 65,599 | 69.777 s |
| granite-4.0-h-tiny | quick | Успех | 35 | 33.17 s |
| granite-4.0-h-tiny | stream | Успех | 31.751 s | |
| granite-4.0-h-tiny | tools | Успех | 63.338 s | |
| granite-4.2-3b | context | Успех | 65,589 | 100.849 s |
| granite-4.2-3b | quick | Успех | 20 | 23.355 s |
| granite-4.2-3b | stream | Успех | 28.75 s | |
| granite-4.2-3b | tools | Успех | 44.226 s | |
| qwen3-embedding-0.6b | context | Успех | 32,767 | 23.055 s |
| qwen3-embedding-0.6b | quick | Успех | 14 | 8.924 s |
| qwen3.5-0.8b | context | Успех | 16,429 | 16.74 s |
| qwen3.5-0.8b | quick | Успех | 17 | 504.813 s |
| qwen3.5-0.8b | stream | Успех | 15.095 s | |
| qwen3.5-0.8b | tools | Успех | 36.672 s | |
| qwen3.5-2b | context | Успех | 65,579 | 76.731 s |
| qwen3.5-2b | quick | Успех | 15 | 20.949 s |
| qwen3.5-2b | stream | Успех | 25.194 s | |
| qwen3.5-2b | tools | Успех | 37.552 s | |
| qwen3.5-4b | context | Успех | 65,579 | 90.807 s |
| qwen3.5-4b | quick | Успех | 15 | 41.84 s |
| qwen3.5-4b | stream | Успех | 40.812 s | |
| qwen3.5-4b | tools | Успех | 54.999 s | |
| qwen3.5-4b | vision | Успех | 70 | 29.619 s |
| qwen3.5-4b | vision_context | Успех | 65,635 | 87.496 s |
| qwen3.5-4b | vision_reverse | Успех | 70 | 26.283 s |
Как я проверял пригодность Hermes
Я поместил синтетический маркер в начало длинного промпта и попросил вернуть его после заполняющего текста. Ответ должен был содержать ожидаемое значение. Размер запроса определялся входными токенами, которые сообщал сервер. Модель могла нормально ответить после большого ввода и все равно провалить тест, если ошиблась в начальном маркере.
В прогрессии Qwen3.5 35B использовались нумерованные записи-заполнители, температура 0 и длина 3 800, 6 800, 10 000 и 13 600 записей. Этапы вернули 69 429, 124 179, 182 579 и 248 279 токенов промпта. Модель оставалась загруженной между этапами, что позволило повторно использовать префикс. Отдельные проверки Qwen3.6 около лимита сообщили о нуле токенов из кэша.
Длинный промпт 0.8B повторял river stone lantern orchard circuit velvet compass marble 8 400 раз между начальным ключом ответа и последним вопросом. Нативный запуск использовал think:false, num_ctx:131072, stream:false и keep_alive:0. OpenAI-совместимый маршрут использовал reasoning_effort:"none". Брокер принудительно включал режим без размышления.
Проверки инструментов, зрения и освобождения
Тесты инструментов проверяли запрос и ответ после результата инструмента. Простой тест использовал add_numbers(7, 11) и ожидал 18. Тест Qwen3.5 35B использовал lookup_square и ожидал 49. GPT-OSS запрашивал данные об инвентаре и должен был включить возвращенный результат.
Для проверки зрения задавались вопросы о красных и синих изображениях, обратном порядке изображений и длинных промптах с цветами и начальным/конечным маркерами. В тесте Qwen3.5 35B использовался красный PNG 256 × 256. До успешного запроса брокеру потребовалось исправление преобразования изображения. Длинный тест зрения 4B на системе E требовал сохранить оба маркера и порядок цветов.
Во время длинных запусков я проверял память GPU, резидентность модели, температуры, давление на память хоста, события OOM и ошибки GPU. Проверка Qwen3.5 35B также контролировала освобождение после управляемого прерывания. Поздние тесты отмены клиентом и очереди запросов проверяли путь через брокер. Два запроса в очереди подтверждают обработку проверенной нагрузки, а не наличие двух независимых одновременных GPU-бэкендов.
Как читать результаты производительности
Время запроса включает предварительную обработку длинного ввода и ответ. Это не скорость генерации токенов в секунду. При потоковой передаче важно время до первого содержимого, а последовательности с кэшированным префиксом нужно оценивать отдельно.
Успешные дополнительные запуски крупных моделей на системах A и C использовали отдельные окна инференса с остановленным майнингом. После запросов модели выгружались. Майнинг возобновлялся на всех семи системах в конце окна. Эти результаты описывают обслуживание модели в окне инференса, а не одновременный майнинг и инференс.
Профили бэкендов в тестах
Выберите профиль для нагрузки, которую хотите воспроизвести. Квантование, контекст среды выполнения, тип кэша, режим рассуждения и расположение GPU влияют на результат.
| Система и модель | Проверенный профиль бэкенда |
|---|---|
| A, Qwen3.5 35B-A3B Q4_K_M | Ollama 0.34.2, кэш KV f16, обе RTX 5060 Ti по 16GB, 64 GiB RAM хоста и контекст 262,144 для длинной серии. Нативные запросы использовали think:false, температуру 0, потоковую передачу и пятиминутный keep-alive между этапами. Запросы шлюза проходили через брокер и LiteLLM. Без ограничения вывода. |
| A, Qwen3.8 27B | llama.cpp по требованию через брокер и LiteLLM, контекст 262,144, один слот инференса, кэш K/V Q4 и обе RTX 5060 Ti. Запрос на 66,007 токенов не имел ограничения вывода. |
| A, Qwen3.6-35B-A3B UD-Q4_K_XL | Strata 0.1.48, контекст 131,072, кэш KV INT8, одна выбранная GPU, лимит памяти группы процессов 55 GiB, лимит выполнения 30 минут, отложенная загрузка и выгрузка после 60 секунд простоя. Длинный ответ пилота: 217 выходных токенов. Ответ шлюза около лимита: 11 токенов, без ограничения вывода. |
| A, Qwen3.8-Flash-Next UD-IQ4_XS | Strata 0.1.48, контекст 98,304, кэш KV Q4, резидентный кэш экспертов 8 GiB и обе RTX 5060 Ti. Лимит памяти пилота 52 GiB, позднейшего маршрута 54 GiB. Длинный ответ пилота: 10 токенов. Предыдущие сочетания большего контекста и кэша остановились на лимитах памяти. |
| A, Granite 4.2 8B | Веса GGUF Q6_K, общий рабочий процесс llama.cpp, контекст 131,072, кэш K/V Q4_0 и --n-predict -1. Длинный запрос использовал температуру 0 и потоковую передачу данных об использовании, без ограничения вывода. |
| A, DeepSeek Coder V2 16B | Веса GGUF Q4_0, Ollama 0.34.2, две RTX 5060 Ti и 64 GiB RAM хоста. Отдельные испытания кэшей f16, Q4_0 и Q8_0 использовали контекст из таблицы сравнения. Без ограничения вывода. |
| B, C, D, проверенная служба Ollama | Ollama 0.34.2, контекст 131,072, параллелизм 1, одна загруженная модель, очередь размером 128, keep-alive 0, Flash Attention и кэш KV Q4_0. |
| B, пилот шлюза Qwen3.5 9B | Тайм-аут маршрута LiteLLM 1,800 секунд, без повторов и ограничений контекста или выходных токенов. Оба маркера сохранены при 72,265 входных токенах. Отдельная проверка восстановления майнинга пройдена. |
| C, Qwen3.5 0.8B | Веса Q8_0 на одной RTX 2000E Ada с профилем мощности 30 W. Контекст 131,072. Нативный think:false, совместимый с OpenAI reasoning_effort:"none", без ограничения вывода. Псевдоним брокера закреплял контекст и включал режим без рассуждений. |
| C, Gemma 4 12B-IT | Профиль Ollama на одной GPU, контекст 131,072, потоковые и непотоковые запросы Aperture без ограничения вывода. Прямой запуск Aperture достиг 75 C и 30,64 W при настроенном профиле 30 W, затем модель выгрузилась. |
| D, Qwen3.5 9B, Gemma 4 12B-IT, GPT-OSS 20B | Точные установленные артефакты проверены через Aperture, контекст 131,072, полная резидентность на одной GPU, естественное завершение без ограничения вывода запроса. |
| E, F, G, процессы чата llama.cpp | Build 11669, 99 слоёв GPU, параллелизм 1, Flash Attention, кэш K/V Q4_0 и --n-predict -1. Контекст выполнения зависел от семейства моделей. |
Записанные профили сервиса описывают собственные настройки среды выполнения. Отдельно проверенный профиль Qwen3.5 35B с кэшем f16 на системе A не наследует настройки кэша Q4_0 от меньших систем Ollama.
Отпечатки моделей в новых тестах сохранения ввода
Эти идентификаторы моделей отличают проверенные артефакты от других загрузок или псевдонимов с похожими именами.
| Артефакт | Квантование | Дайджест или SHA-256 файла |
|---|---|---|
| Qwen3.5 35B-A3B Ollama tag | Q4_K_M | 72aac7c28be8ff9b81c2a270eb489c88e6d822a76ec0cb7bf34d965768848567 |
| Qwen3.5 0.8B base Ollama tag | Q8_0 | de63045f29755d4721c09d54c9b45c2dadb644f4fd7d604d4cac90d96049971c |
| Granite 4.2 8B GGUF file | Q6_K | 5ad3d67f6fe09a448031029bead7f6a088697ca2787c0c5640bf964c59df1a21 |
Дайджесты манифеста Ollama и SHA-256 файлов весов идентифицируют разные объекты. Сопоставьте идентификатор с типом артефакта в таблице.
Что я бы запускал с Hermes
Основным маршрутом с большим контекстом на системе с двумя RTX 5060 Ti я бы сделал Qwen3.5 35B. Сохранение 239 153 токенов через шлюз, отдельные успешные проверки инструментов и зрения, а также подтвержденное освобождение ресурсов говорят в его пользу сильнее, чем одно лишь рекламное окно контекста. Qwen3.8 27B я бы оставил для более быстрого ответа при 66K, а Qwen3.6 — если важна одна карта.
На системах RTX 2000E Ada для проверенной нагрузки длинного ввода я бы выбрал подтвержденный маршрут Gemma 3 4B на системе C. Qwen3.5 0.8B без размышления я бы испытал для ограниченных задач извлечения. Более крупные маршруты Gemma, Qwen и GPT-OSS подойдут, если допустим первый ответ через четыре-пять минут. Неудачный маршрут Gemma 3 на системе D я бы исключил.
На 8-ГБ картах RTX 3060 Ti и RTX 3070 я бы начал с Qwen3.5 2B или 4B. Текстовые результаты 65K и проверки изображений 4B подтверждают полезную стартовую конфигурацию без выделения двух 16-ГБ карт для каждого запроса. Давление на память Flash Next и неполное поведение DeepSeek Coder V2 при 65K делают их менее удачными вариантами по умолчанию для протестированных профилей.
Тесты подтверждают эти сочетания моделей и систем для конкретных сценариев. Сохранение ввода, правильный цикл инструмента, распознавание изображения и корректное освобождение отвечают за разные аспекты пригодности Hermes. Надежная конфигурация должна поддерживать нужное агенту поведение и оставлять контекст для ответа и работы инструментов.
Источники и материалы по теме
- Настройка провайдера Hermes Agent и требования к контексту
- Характеристики NVIDIA GeForce RTX 3060 Ti
- Характеристики NVIDIA GeForce RTX 5060 Ti
- Обзор Hermes Agent
- Выбор локального бэкенда модели