Table of Contents

Для задач Hermes с длинным контекстом я бы начал с Qwen3.5 35B на двух RTX 5060 Ti по 16 ГБ. Проверенный маршрут сохранил 239 153 входных токена через LiteLLM и прошел отдельные проверки инструментов, потоковой передачи, зрения, очереди запросов и отмены. Qwen3.6 подойдет как вариант на одной карте. На системах RTX 3060 Ti и RTX 3070 я бы начал с Qwen3.5 2B или 4B.

Эти рекомендации основаны на запуске моделей через пути инференса, которыми пользуется агент. Я проверил сохранение длинного ввода, циклы вызова инструментов, потоковые ответы, вопросы по изображениям и выгрузку модели. Также я проверил режимы и настройки памяти, потому что успешная загрузка мало говорит о пользе модели при долгом запросе агента.

Для работы агента с инструментами Hermes требует не менее 64 000 токенов контекста. Порогом длинного контекста я выбрал 65 536 фактически обработанных входных токенов. Число входных токенов важнее размера контекста, заявленного сервером. ( Документация провайдера Hermes Agent )

Какие GPU установлены в системах

Буквы обозначают аппаратные комбинации, описанные в результатах.

Система GPU в этом тесте Моя стартовая модель
A 2 × GeForce RTX 5060 Ti, по 16 ГБ Qwen3.5 35B на обеих картах или Qwen3.6 на одной карте
B 1 × RTX 2000E Ada, 16GB Qwen3.5 9B, если несколько минут обработки длинного ввода подходят задаче
C 1 × RTX 2000E Ada, 16GB Gemma 3 4B для проверенного пути длинного ввода; Qwen3.5 0.8B без режима рассуждений для узких задач извлечения
D 1 × RTX 2000E Ada, 16GB Qwen3.5 9B, Gemma 4 12B-IT или GPT-OSS 20B для проверенных нагрузок с крупными моделями
E 9 × GeForce RTX 3060 Ti, по 8 ГБ Qwen3.5 2B или 4B
F 8 × GeForce RTX 3060 Ti, по 8 ГБ Qwen3.5 2B или 4B
G 3 × GeForce RTX 3070 Qwen3.5 2B или 4B

Число установленных карт не означает, что каждый запрос использовал все GPU. В тестах Qwen3.5 35B и Flash Next задействовались обе карты системы A. Qwen3.6 использовал одну карту. Успешный повторный тест зрения Qwen3.5 4B на системе E использовал одну выбранную карту из пула восьми, а девятая оставалась исключенной из работы ИИ.

Воспринимайте указанные времена как результат совместной работы протестированных модели, среды выполнения и системы. Эти запуски сравнивают рабочие конфигурации, но не изолируют архитектуру GPU как причину разницы в скорости.

Две RTX 5060 Ti делают Qwen3.5 35B моим выбором для длинного контекста

В этих тестах Qwen3.5 35B сохранил наибольший объем ввода. Прямой прогон Ollama сохранил 248 279 входных токенов в контексте среды выполнения на 262 144 токена. Отдельный потоковый запрос через шлюз сохранил 239 153 входных токена, вернул начальный маркер и штатно завершился после 31 выходного токена за 148,12 секунды.

Результат шлюза важен для Hermes, поскольку запрос прошел через брокер и LiteLLM. Отдельные запросы завершили цикл вызова инструмента, распознали красное изображение и вернули два правильных ответа при совместной отправке. Брокер поставил их в очередь. Закрытие потокового запроса освободило брокер и выгрузило модель за 60,31 секунды.

Запрос Qwen3.5 35B Входные токены Выходные токены Время Результат
прямой Ollama, первый этап прогрессии 69,429 31 38.783 s Точный начальный маркер
прямой Ollama, продолжение с общим префиксом 124,179 31 28.472 s Точный начальный маркер
прямой Ollama, продолжение с общим префиксом 182,579 31 38.974 s Точный начальный маркер
прямой Ollama, продолжение с общим префиксом 248,279 31 54.215 s Точный начальный маркер
потоковый запрос брокера 69,427 29 38.872 s Точный начальный маркер
потоковый запрос LiteLLM 239,153 31 148.12 s Точный начальный маркер, clean unload

Последовательные прямые запросы повторно использовали общий префикс, длина которого росла. Их длительность описывает продолжение с прогретым префиксом. Результат 54,215 секунды не является независимым холодным измерением нового запроса на 248K.

На самом длинном прямом этапе модель сообщила примерно о 27,3 млрд байт резидентной памяти на двух GPU. Пиковое использование памяти на картах достигло 14 964 и 12 386 МиБ.

Пиковая температура достигла 62 и 63 °C, ошибок OOM или Xid не было. Для продолжения в настроенном контексте оставалось 13 865 токенов. Короткий ответ-маркер занял 31 токен.

Я бы выбрал этот маршрут, если сохранение большого рабочего набора важнее самой короткой задержки первого ответа. Проверки инструментов и зрения подтверждают полезное поведение агента, а тест длинного ввода проверяет его сохранение. Это разные нагрузки.

Qwen3.6 подходит для одной карты

Qwen3.6-35B-A3B UD-Q4_K_XL сохранил 131 000 входных токенов на одной RTX 5060 Ti. Вторая карта во время теста бездействовала. Это полезная альтернатива, если не стоит выделять обе карты одной модели.

Запрос Qwen3.6 через шлюз Входные токены Выходные токены Время Результат
первый длинный запрос 66,007 167.82 s Начальный маркер сохранен
более длинный запрос 90,000 11 159.92 s Начальный маркер сохранен, zero cached input
более длинный запрос 119,999 11 250.61 s Начальный маркер сохранен, zero cached input
почти достигнут предел времени выполнения 131,000 11 287.09 s Начальный маркер сохранен, zero cached input

Запрос на 131 000 токенов приблизился к лимиту среды выполнения в 131 072 токена. Для агента я бы оставил больше места для ответа и последующих сообщений инструментов. Результат сохранения у самого лимита полезен для проверки обработки ввода, но не задает разумный бюджет по умолчанию.

Работа инструмента прошла успешно при отключенном размышлении. Стандартный режим размышления израсходовал пробный лимит в 512 токенов до вызова инструмента. Успешный пилот также прошел быстрые, потоковые и визуальные запросы. Первая проверка контекста на 65 845 токенов заняла 139,57 секунды.

Qwen3.8 27B выигрывает сравнение ответов на одинаковом вводе 66K

На той же задаче с маркером на 66 007 токенов в системе A Qwen3.8 27B вернул ответ быстрее всех. Я бы оставил этот маршрут для запросов около проверенного размера ввода, а Qwen3.5 35B использовал бы для большего рабочего набора.

Маршрут системы A Входные токены Время Результат
Qwen3.8 27B 66,007 54.64 s Начальный маркер сохранен
Qwen3.6-35B-A3B UD-Q4_K_XL 66,007 167.82 s Начальный маркер сохранен
Qwen3.8-Flash-Next UD-IQ4_XS 66,007 164.58 s Начальный маркер сохранен
Flash Next IQ4 compatibility alias 66,007 213.25 s Маркер сохранен

Qwen3.8 27B затратил примерно треть времени сопоставимых запросов Qwen3.6 и Flash Next. Это наблюдения по полным запросам в протестированных средах выполнения, а не сравнение только оборудования.

Быстрые ответы, потоковая передача и вызов инструментов также прошли проверку. Режим без размышления завершил всю последовательность цветов и цикл инструмента, а тест с размышлением вернул лишь часть последовательности в пределах 512 токенов.

Flash Next менее привлекателен как вариант по умолчанию на этой системе из-за нехватки памяти. Пилот на 65 847 токенов завершился успешно за 201,41 секунды при контексте среды выполнения 98 304. Два предыдущих профиля с контекстом 131 072 достигли предела памяти до готовности.

Поздний маршрут достиг лимита cgroup в 54 ГиБ. Для работы без присмотра я бы выбрал вариант с большим запасом памяти.

Маршрут с меткой flash-iq2 использовал бэкенд совместимости Flash Next IQ4. Название не означает результат IQ2.

RTX 2000E Ada обрабатывает длинный ввод, но выбор модели меняет ожидание

Gemma 3 4B — мой предпочтительный протестированный вариант для длинного ввода в системе C. Два пути сохранили более 84K входных токенов примерно за 88 секунд. Более крупные модели тоже прошли полезные проверки сохранения, но их запросы занимали несколько минут.

Система Модель и путь Входные токены Время Результат
B Qwen3.5 9B, шлюз 72,265 263 s Оба маркера сохранены; последующая проверка восстановления майнинга пройдена
C Gemma 3 4B, шлюз 84,044 88.05 s Начальный маркер сохранен
C Gemma 3 4B, Aperture 84,045 87.68 s Начальный маркер сохранен
C Gemma 4 12B-IT, шлюз 67,254 263.07 s Начальный маркер сохранен
C Gemma 4 12B-IT, Aperture без потоковой передачи 67,255 274.24 s Начальный маркер сохранен
C Gemma 4 12B-IT, потоковая передача Aperture 67,255 282.16 s Начальный маркер сохранен
C Qwen3.5 9B, шлюз 75,648 319.36 s Начальный маркер сохранен, модель выгружена из памяти
C GPT-OSS 20B, шлюз 84,099 315.83 s Начальный маркер сохранен, модель выгружена из памяти
D Qwen3.5 9B, Aperture 81,051 324.07 s Сохранение проверено на установленном артефакте
D Gemma 4 12B-IT, Aperture 72,057 300.67 s Сохранение проверено на установленном артефакте
D GPT-OSS 20B, Aperture 72,104 245.94 s Сохранение проверено на установленном артефакте

Потоковая передача не устранила длительную предподготовку Gemma 4 на системе C. Первый потоковый контент появился через 277,49 секунды, позже полного ответа без потока за 274,24 секунды. Предыдущая попытка без потока завершилась по тайм-ауту до успешного повтора. Я бы использовал этот маршрут только для задач, где допустима начальная обработка в несколько минут.

Gemma 3 4B показывает, почему квалификацию нужно привязывать к каждой проверенной системе. Система D не нашла начальный маркер в двух тестах извлечения 65K, включая повтор при нулевой температуре и 67 252 входных токенах. Детерминированный запрос штатно завершился за 62,07 секунды при полной загрузке GPU.

Быстрое завершение и обычный ответ API не означают, что ответ верен. Я бы использовал успешный маршрут системы C и исключил неудачный маршрут системы D из выбора Hermes.

Режим размышления определяет полезность Qwen3.5 0.8B

После отключения размышления Qwen3.5 0.8B стал полезным кандидатом для узких задач извлечения на системе C. Небольшая модель Q8_0 сохранила 75 649 входных токенов через шлюз за 65,92 секунды. Этот результат относится к проверенному артефакту Q8_0 и режиму без размышления, а не к старым конфигурациям с контекстом 16K в других строках таблицы.

Запрос Qwen3.5 0.8B на системе C Входные токены Выходные токены Время Результат
короткая диагностика со стандартным режимом рассуждений 9,050 3,391 66.56 s Точный начальный маркер
рассуждения выключены, сопоставимая диагностика 9,055 21 7.65 s Точный начальный маркер, no reasoning text
длинная попытка со стандартным режимом рассуждений Тайм-аут 600 с Завершенного ответа нет
рассуждения выключены, нативный Ollama 75,656 22 69.80 s Точный начальный маркер
совместимая с OpenAI точка доступа без рассуждений 75,646 12 69.09 s Точный начальный маркер
Брокер с принудительным режимом без рассуждений 75,647 13 66.83 s Точный начальный маркер
LiteLLM с системы A на систему C 75,649 15 65.92 s Точный начальный маркер

В сопоставимой диагностике время снизилось с 66,56 до 7,65 секунды, примерно в 8,7 раза, а объем вывода уменьшился с 3 391 до 21 токена. Поэтому для простого извлечения и маршрутизации я бы явно задавал режим рассуждений. Режим по умолчанию потратил большую часть работы на ненужный вывод.

Короткая проба OpenAI-совместимого интерфейса не нашла маркер, но повтор при нулевой температуре прошел. Успешные проверки маршрутов использовали режим без размышления и естественное завершение без лимита вывода. Еще три шлюза прошли короткие тесты маркера за 4,22, 4,37 и 3,85 секунды. Они подтверждают маршрутизацию, а запрос на 75 649 токенов — сохранение длинного ввода через шлюз.

Я бы испытал этот вариант для ограниченного извлечения и выборки данных. Для открытого рассуждения агента выбрал бы модель крупнее. Восстановление одного синтетического маркера — более узкая задача, чем планирование, программирование или координация нескольких инструментов.

Системы RTX 3060 Ti и RTX 3070 подходят для Qwen3.5 2B и 4B

Qwen3.5 2B и 4B — мои практичные стартовые модели для карт на 8 ГБ. Текстовые запросы с контекстом в системах E, F и G прошли с 65 579 входными токенами за 30,343–93,753 секунды. Протестированные маршруты 4B также прошли проверки инструментов, потока и изображения.

Повторный тест визуального контекста 4B на системе E сохранил оба маркера и порядок цветов изображения при 65 637 входных токенах за 44,88 секунды. Запросы с прямым и обратным порядком цветов тоже прошли. В повторе использовалась исправная карта после того, как другая получила ошибку соединения Xid 79 и система перезагрузилась.

Система Текстовый контекст Qwen3.5 2B Текстовый контекст Qwen3.5 4B Контекст зрения Qwen3.5 4B
E, RTX 3060 Ti pool 65,579 tokens, 30.343 s 65,579 tokens, 53.787 s 65,637 tokens, 44.88 s
F, RTX 3060 Ti pool 65,579 tokens, 61.282 s 65,579 tokens, 93.753 s 65,635 tokens, 84.749 s
G, RTX 3070 pool 65,579 tokens, 76.731 s 65,579 tokens, 90.807 s 65,635 tokens, 87.496 s

Каждая из этих систем зарегистрировала 29 успешных проверок. Разница времени между двумя системами RTX 3060 Ti также показывает, почему я выбрал бы проверенный профиль, а не ранжировал карты по длительности этих запросов.

Все семь систем вернулись к майнингу после окна инференса. Отдельная проверка восстановления после остановки системы B прошла с новыми принятыми шарами. Неисправная карта в системе E позже вернулась к майнингу после перезагрузки и усиления PCIe-соединения, но осталась исключенной из пула ИИ. Восстановление майнинга в конце окна отличается от автоматической передачи после одного запроса инференса.

Загрузка модели не означает квалификацию

Я бы исключил DeepSeek Coder V2 16B из проверенных вариантов Hermes 65K. Запуск с кэшем f16 сохранил 50 477 входных токенов, но тест с целью 65K достиг ограничения VRAM. Альтернативы кэша Q4 и Q8 загрузили веса на GPU, но затем уперлись в пределы памяти хоста или низкую скорость длинных промптов.

Профиль кэша DeepSeek Coder V2 Контекст среды выполнения Наблюдаемый результат Моя оценка
f16 81,920 восстановление 50 477 токенов прошло, слишком большой запрос отклонён Полезный результат для короткого контекста
f16 73,728 предварительная обработка цели 65K остановлена при использовании GPU 15 802 МиБ Не соответствует требованиям 65K
Q4_0 98,304 До контролируемой остановки скорость длинного предварительного заполнения упала до 96.72 токена/с Плохо подходит для этой нагрузки
Q8_0 77,824 До контролируемой остановки скорость длинного предварительного заполнения упала до 120.12 токена/с Плохо подходит для этой нагрузки
Q4_0 / Q8_0, более крупные профили 163,840 / 98,304 Защита памяти хоста остановила испытания Оценивать память нужно для всей системы

Практический вывод: тестируйте запрос, который собираетесь отправить. Занятость GPU, короткий ответ и большой заданный контекст не доказывают сохранение длинного ввода при приемлемой задержке.

Granite 4.2 8B и GPT-OSS 20B улучшились после доработки конкретных маршрутов на системе A. Маршрут Granite Q6_K сохранил 66 082 входных токена за 88,636 секунды при нулевом кэшированном вводе. GPT-OSS завершил цикл инструмента после исправления брокера: вызов занял 9,854 секунды, последующий запрос — 9,849. Эти успешные проверки маршрута я отделяю от предыдущих неполных попыток.

Полные результаты бенчмарка

Таблица содержит 295 проверок для 59 комбинаций моделей и систем. Матрица показывает 273 успешные проверки, один неудачный тест извлечения и семь неполных, противоречивых или несовместимых результатов. Четырнадцать проверок вне области квалификации 65K. В каждой строке указан измеренный результат.

Рекомендации относятся к успешным маршрутам и нагрузкам. Неудачная или неполная строка не подтверждает соответствующее поведение.

Успешные проверки короткого контекста и эмбеддингов относятся к своим задачам. Проверка контекста 16K или 32K не квалифицирует маршрут для нагрузки Hermes с 65 536 входными токенами. Здесь названия моделей — метки маршрутов. flash-iq2 использовал бэкенд совместимости IQ4.

Строка контекста Qwen3.5 35B для системы A — последний этап общей последовательности префикса выше. Времена инструментов со знаком плюс отдельно показывают вызов и продолжение.

Строка параллелизма показывает время двух запросов в очереди. Строка отмены показывает время освобождения после закрытия потока клиентом. Дополнительные последовательности контекста и сравнения маршрутов Qwen3.5 0.8B приведены в отдельных таблицах выше.

Система A

Метка маршрута модели Проверка Результат Входные токены Длительность запроса
bonsai-2-27b context Успех 65,621 88.746 s
bonsai-2-27b quick Успех 57 6.429 s
bonsai-2-27b stream Успех 9.371 s
bonsai-2-27b tools Успех 10.478 s
deepseek-coder-v2:16b context Несовместимо 50,477
deepseek-coder-v2:16b quick Успех 77 43.239 s
flash-iq2 context Успех 66,007 213.25 s
flash-iq2 quick Успех 56.03 s
flash-iq2 stream Успех 1.35 s
flash-iq2 tools Успех 16.55 s
gemma-4-12b-it context Успех 65,590 51.225 s
gemma-4-12b-it quick Успех 21 5.166 s
gemma-4-12b-it stream Успех 4.653 s
gemma-4-12b-it tools Успех 18.72 s
gemma-4-12b-it vision Успех 115 7.222 s
gemma-4-12b-it vision_context Успех 65,685 56.06 s
gemma-4-12b-it vision_reverse Успех 115 7.467 s
gemma-4-e4b-it context Успех 65,590 21.889 s
gemma-4-e4b-it quick Успех 21 17.919 s
gemma-4-e4b-it stream Успех 4.25 s
gemma-4-e4b-it tools Успех 8.734 s
gpt-oss-20b context Успех 65,637 159.155 s
gpt-oss-20b quick Успех 73 10.548 s
gpt-oss-20b stream Успех 20.594 s
gpt-oss-20b tools Успех 9.854 + 9.849 s
granite-4.2-3b context Успех 65,589 70.968 s
granite-4.2-3b quick Успех 20 4.009 s
granite-4.2-3b stream Успех 5.365 s
granite-4.2-3b tools Успех 6.086 s
granite-4.2-8b context Успех 66,082 88.636 s
granite-4.2-8b quick Успех 20 5.857 s
granite-4.2-8b stream Успех 11.826 s
granite-4.2-8b tools Успех 11.852 s
qwen27b context Успех 66,007 54.64 s
qwen27b quick Успех 57 31.5 s
qwen27b stream Успех 0.92 s
qwen27b tools Успех 4.25 s
qwen3-embedding-0.6b context Успех 32,767 7.736 s
qwen3-embedding-0.6b quick Успех 14 2.125 s
qwen3.5-0.8b context Успех 16,429 10.5 s
qwen3.5-0.8b quick Успех 17 14.316 s
qwen3.5-0.8b stream Успех 2.125 s
qwen3.5-0.8b tools Успех 4.416 s
qwen3.5-2b context Успех 65,581 11.175 s
qwen3.5-2b quick Успех 17 4.519 s
qwen3.5-2b stream Успех 3.736 s
qwen3.5-2b tools Успех 5.046 s
qwen3.5-4b context Успех 65,579 36.451 s
qwen3.5-4b quick Успех 15 19.935 s
qwen3.5-4b stream Успех 17.496 s
qwen3.5-4b tools Успех 7.308 s
qwen3.5-4b vision Успех 70 7.848 s
qwen3.5-4b vision_context Успех 65,635 28.24 s
qwen3.5-4b vision_reverse Успех 70 4.386 s
qwen3.5-9b context Успех 65,581 34.139 s
qwen3.5-9b quick Успех 17 3.88 s
qwen3.5-9b stream Успех 3.378 s
qwen3.5-9b tools Успех 10.204 s
qwen3.5-9b vision Успех 72 4.441 s
qwen3.5-9b vision_context Успех 65,637 33.745 s
qwen3.5-9b vision_reverse Успех 72 3.97 s
qwen3.5:35b-a3b-q4_K_M cancellation Успех 60.31 s
qwen3.5:35b-a3b-q4_K_M concurrency Успех 26.23 / 25.33 s
qwen3.5:35b-a3b-q4_K_M context Успех 248,279 54.215 s
qwen3.5:35b-a3b-q4_K_M gateway Успех 239,153 148.12 s
qwen3.5:35b-a3b-q4_K_M quick Успех 79 10.08 s
qwen3.5:35b-a3b-q4_K_M stream Успех 69,429 38.783 s
qwen3.5:35b-a3b-q4_K_M tools Успех 15.22 + 14.83 s
qwen3.5:35b-a3b-q4_K_M vision Успех 18.39 s
Qwen3.6-35B-A3B UD-Q4_K_XL context Успех 65,845 139.57 s
Qwen3.6-35B-A3B UD-Q4_K_XL quick Успех 15 3.97 s
Qwen3.6-35B-A3B UD-Q4_K_XL stream Успех 0.45 s
Qwen3.6-35B-A3B UD-Q4_K_XL tools Успех 293 5.48 s
Qwen3.6-35B-A3B UD-Q4_K_XL vision Успех 38 0.59 s
Qwen3.8-Flash-Next UD-IQ4_XS context Успех 65,847 201.41 s
Qwen3.8-Flash-Next UD-IQ4_XS quick Успех 17 54.62 s
Qwen3.8-Flash-Next UD-IQ4_XS stream Успех 1.2 s
Qwen3.8-Flash-Next UD-IQ4_XS tools Успех 22.18 s
Qwen3.8-Flash-Next UD-IQ4_XS vision Успех 3.86 s

Система B

Метка маршрута модели Проверка Результат Входные токены Длительность запроса
gemma-4-12b-it context Успех 65,590 299.163 s
gemma-4-12b-it quick Успех 21 15.261 s
gemma-4-12b-it stream Успех 148.792 s
gemma-4-12b-it tools Успех 34.124 s
gemma-4-12b-it vision Успех 120 61.455 s
gemma-4-12b-it vision_context Успех 65,690 295.581 s
gemma-4-12b-it vision_reverse Успех 120 32.511 s
gemma3-4b context Успех 65,584 67.382 s
gemma3-4b quick Успех 15 6.329 s
gemma3-4b stream Успех 24.138 s
gemma3-4b vision Успех 306 7.018 s
gemma3-4b vision_context Успех 65,876 70.912 s
gemma3-4b vision_reverse Успех 306 5.762 s
gpt-oss-20b context Успех 65,637 206.767 s
gpt-oss-20b quick Успех 72 16.583 s
gpt-oss-20b stream Успех 32.075 s
gpt-oss-20b tools Успех 28.102 s
nomic-embed-text context Неполно 2,048
nomic-embed-text quick Успех 7.117 s
qwen3-14b context Неполно 1800.09 s
qwen3-14b quick Успех 15 37.199 s
qwen3-14b stream Успех 35.471 s
qwen3-14b tools Успех 87.554 s
qwen3-8b context Вне области 65K, исключено
qwen3-8b quick Вне области 65K, успешно 15 21.059 s
qwen3-8b stream Вне области 65K, исключено
qwen3-8b tools Вне области 65K, исключено
qwen3.5-9b context Успех 65,579 282.796 s
qwen3.5-9b litellm_long_route Успех 72,265 263 s
qwen3.5-9b post_external_stop_mining Успех
qwen3.5-9b quick Успех 15 25.881 s
qwen3.5-9b stream Успех 143.44 s
qwen3.5-9b tools Успех 31.812 s
qwen3.5-9b vision Успех 75 32.015 s
qwen3.5-9b vision_context Успех 65,640 396.288 s
qwen3.5-9b vision_reverse Успех 75 28.626 s

Система C

Метка маршрута модели Проверка Результат Входные токены Длительность запроса
gemma-4-12b-it aperture_context Успех 67,255 274.24 s
gemma-4-12b-it aperture_short Успех 35 39.32 s
gemma-4-12b-it aperture_stream_context Успех 67,255 282.16 s
gemma-4-12b-it context Успех 65,670 313.661 s
gemma-4-12b-it gateway_context Успех 67,254 263.07 s
gemma-4-12b-it gateway_short Успех 27 20.98 s
gemma-4-12b-it quick Успех 21 16.447 s
gemma-4-12b-it stream Успех 15.175 s
gemma-4-12b-it tools Успех 37.821 s
gemma-4-12b-it vision Успех 120 58.52 s
gemma-4-12b-it vision_context Успех 65,690 308.759 s
gemma-4-12b-it vision_reverse Успех 120 31.25 s
gemma3-4b aperture_context Успех 84,045 87.68 s
gemma3-4b aperture_after_system_d_route_change Успех 24 5.42 s
gemma3-4b aperture_short Успех 22 5.45 s
gemma3-4b aperture_stream Успех 3.72 s
gemma3-4b context Успех 65,664 67.543 s
gemma3-4b gateway_context Успех 84,044 88.05 s
gemma3-4b gateway_short_via_system_a Успех 3.16 s
gemma3-4b gateway_short_via_system_e Успех
gemma3-4b gateway_short_via_system_f Успех 4.15 s
gemma3-4b gateway_short_via_system_g Успех 6.06 s
gemma3-4b quick Успех 15 5.163 s
gemma3-4b stream Успех 24.691 s
gemma3-4b vision Успех 306 7.318 s
gemma3-4b vision_context Успех 65,876 72.476 s
gemma3-4b vision_reverse Успех 306 5.831 s
gpt-oss-20b context Успех 65,716 216.594 s
gpt-oss-20b gateway_context Успех 84,099 315.83 s
gpt-oss-20b gateway_short Противоречиво
gpt-oss-20b quick Успех 72 21.603 s
gpt-oss-20b stream Успех 31.957 s
gpt-oss-20b tools Успех 26.096 s
nomic-embed-text context Вне области 65K, неполно 2,048
nomic-embed-text quick Вне области 65K, успешно 4.178 s
qwen3-14b context Вне области 65K, неполно 1800.06 s
qwen3-14b quick Вне области 65K, успешно 15 35.809 s
qwen3-14b stream Вне области 65K, успешно 35.43 s
qwen3-14b tools Вне области 65K, успешно 87.723 s
qwen3-8b context Вне области 65K, исключено
qwen3-8b quick Вне области 65K, успешно 15 21.293 s
qwen3-8b stream Вне области 65K, неполно 900.01 s
qwen3-8b tools Вне области 65K, исключено
qwen3.5-9b context Успех 65,662 287.984 s
qwen3.5-9b gateway_context Успех 75,648 319.36 s
qwen3.5-9b gateway_short Успех 21 72.14 s
qwen3.5-9b quick Успех 15 24.635 s
qwen3.5-9b stream Успех 143.157 s
qwen3.5-9b tools Успех 30.395 s
qwen3.5-9b vision Успех 75 27.756 s
qwen3.5-9b vision_context Успех 65,640 398.797 s
qwen3.5-9b vision_reverse Успех 75 28.645 s

Система D

Метка маршрута модели Проверка Результат Входные токены Длительность запроса
gemma-4-12b-it context Успех 65,590 275.395 s
gemma-4-12b-it exact_digest_aperture_65k Успех 72,057 300.67 s
gemma-4-12b-it exact_digest_broker_short Успех 34 30.74 s
gemma-4-12b-it quick Успех 21 15.05 s
gemma-4-12b-it stream Успех 14.722 s
gemma-4-12b-it tools Успех 33.869 s
gemma-4-12b-it vision Успех 120 56.315 s
gemma-4-12b-it vision_context Успех 65,690 282.174 s
gemma-4-12b-it vision_reverse Успех 120 29.978 s
gemma3-4b context Успех 65,584 63.564 s
gemma3-4b exact_digest_65k_recall Не пройдено 67,252 62.07 s
gemma3-4b quick Успех 15 5.151 s
gemma3-4b stream Успех 22.552 s
gemma3-4b vision Успех 306 8.276 s
gemma3-4b vision_context Успех 65,876 67.575 s
gemma3-4b vision_reverse Успех 306 5.651 s
gpt-oss-20b context Успех 65,637 189.07 s
gpt-oss-20b exact_digest_aperture_65k Успех 72,104 245.94 s
gpt-oss-20b exact_digest_broker_short Успех 84 15.96 s
gpt-oss-20b quick Успех 72 15.431 s
gpt-oss-20b stream Успех 31.052 s
gpt-oss-20b tools Успех 23.65 s
nomic-embed-text context Неполно 2,048
nomic-embed-text quick Успех 2.798 s
qwen3-14b context Неполно 40,939 872.209 s
qwen3-14b quick Успех 15 36.021 s
qwen3-14b stream Успех 33.491 s
qwen3-14b tools Успех 82.471 s
qwen3-8b context Неполно 1800.07 s
qwen3-8b quick Успех 15 19.283 s
qwen3-8b stream Успех 19.401 s
qwen3-8b tools Успех 65.054 s
qwen3.5-9b context Успех 65,579 258.048 s
qwen3.5-9b exact_digest_aperture_65k Успех 81,051 324.07 s
qwen3.5-9b exact_digest_broker_short Успех 29 94.48 s
qwen3.5-9b quick Успех 15 27.16 s
qwen3.5-9b stream Успех 28.62 s
qwen3.5-9b tools Успех 28.129 s
qwen3.5-9b vision Успех 75 25.047 s
qwen3.5-9b vision_context Успех 65,640 369.477 s
qwen3.5-9b vision_reverse Успех 75 27.602 s

Система E

Метка маршрута модели Проверка Результат Входные токены Длительность запроса
gemma-4-e4b-it context Успех 65,590 49.086 s
gemma-4-e4b-it quick Успех 21 23.911 s
gemma-4-e4b-it stream Успех 28.136 s
gemma-4-e4b-it tools Успех 56.756 s
granite-4.0-h-tiny context Успех 65,566
granite-4.0-h-tiny quick Успех 35 10.408 s
granite-4.0-h-tiny stream Успех 27.798 s
granite-4.0-h-tiny tools Успех 43.304 s
granite-4.2-3b context Успех 65,589 1014.03 s
granite-4.2-3b quick Успех 20 14.569 s
granite-4.2-3b stream Успех 6.948 s
granite-4.2-3b tools Успех 56.376 s
qwen3-embedding-0.6b context Успех 32,767 20.387 s
qwen3-embedding-0.6b quick Успех 14 9.592 s
qwen3.5-0.8b context Успех 16,429 9.128 s
qwen3.5-0.8b quick Успех 17 452.417 s
qwen3.5-0.8b stream Успех 11.163 s
qwen3.5-0.8b tools Успех 39.214 s
qwen3.5-2b context Успех 65,579 30.343 s
qwen3.5-2b quick Успех 15 12.509 s
qwen3.5-2b stream Успех 26.165 s
qwen3.5-2b tools Успех 42.056 s
qwen3.5-4b context Успех 65,579 53.787 s
qwen3.5-4b quick Успех 15 26.736 s
qwen3.5-4b stream Успех 26.02 s
qwen3.5-4b tools Успех 57.293 s
qwen3.5-4b vision Успех 72 10.09 s
qwen3.5-4b vision_context Успех 65,637 44.88 s
qwen3.5-4b vision_reverse Успех 72 9.96 s

Система F

Метка маршрута модели Проверка Результат Входные токены Длительность запроса
gemma-4-e4b-it context Успех 65,590 98.443 s
gemma-4-e4b-it quick Успех 21 27.51 s
gemma-4-e4b-it stream Успех 28.042 s
gemma-4-e4b-it tools Успех 73.891 s
granite-4.0-h-tiny context Успех 65,599 19.692 s
granite-4.0-h-tiny quick Успех 35 43.818 s
granite-4.0-h-tiny stream Успех 27.296 s
granite-4.0-h-tiny tools Успех 75.377 s
granite-4.2-3b context Успех 65,589 145.179 s
granite-4.2-3b quick Успех 20 15.703 s
granite-4.2-3b stream Успех 35.482 s
granite-4.2-3b tools Успех 52.539 s
qwen3-embedding-0.6b context Успех 32,767 20.656 s
qwen3-embedding-0.6b quick Успех 14 8.122 s
qwen3.5-0.8b context Успех 16,429 13.326 s
qwen3.5-0.8b quick Успех 17 445.22 s
qwen3.5-0.8b stream Успех 13.266 s
qwen3.5-0.8b tools Успех 40.825 s
qwen3.5-2b context Успех 65,579 61.282 s
qwen3.5-2b quick Успех 15 16.738 s
qwen3.5-2b stream Успех 25.29 s
qwen3.5-2b tools Успех 47.444 s
qwen3.5-4b context Успех 65,579 93.753 s
qwen3.5-4b quick Успех 15 33.039 s
qwen3.5-4b stream Успех 25.658 s
qwen3.5-4b tools Успех 71.731 s
qwen3.5-4b vision Успех 70 43.053 s
qwen3.5-4b vision_context Успех 65,635 84.749 s
qwen3.5-4b vision_reverse Успех 70 27.518 s

Система G

Метка маршрута модели Проверка Результат Входные токены Длительность запроса
gemma-4-e4b-it context Успех 65,590 92.696 s
gemma-4-e4b-it quick Успех 21 38.329 s
gemma-4-e4b-it stream Успех 43.549 s
gemma-4-e4b-it tools Успех 66.616 s
granite-4.0-h-tiny context Успех 65,599 69.777 s
granite-4.0-h-tiny quick Успех 35 33.17 s
granite-4.0-h-tiny stream Успех 31.751 s
granite-4.0-h-tiny tools Успех 63.338 s
granite-4.2-3b context Успех 65,589 100.849 s
granite-4.2-3b quick Успех 20 23.355 s
granite-4.2-3b stream Успех 28.75 s
granite-4.2-3b tools Успех 44.226 s
qwen3-embedding-0.6b context Успех 32,767 23.055 s
qwen3-embedding-0.6b quick Успех 14 8.924 s
qwen3.5-0.8b context Успех 16,429 16.74 s
qwen3.5-0.8b quick Успех 17 504.813 s
qwen3.5-0.8b stream Успех 15.095 s
qwen3.5-0.8b tools Успех 36.672 s
qwen3.5-2b context Успех 65,579 76.731 s
qwen3.5-2b quick Успех 15 20.949 s
qwen3.5-2b stream Успех 25.194 s
qwen3.5-2b tools Успех 37.552 s
qwen3.5-4b context Успех 65,579 90.807 s
qwen3.5-4b quick Успех 15 41.84 s
qwen3.5-4b stream Успех 40.812 s
qwen3.5-4b tools Успех 54.999 s
qwen3.5-4b vision Успех 70 29.619 s
qwen3.5-4b vision_context Успех 65,635 87.496 s
qwen3.5-4b vision_reverse Успех 70 26.283 s

Как я проверял пригодность Hermes

Я поместил синтетический маркер в начало длинного промпта и попросил вернуть его после заполняющего текста. Ответ должен был содержать ожидаемое значение. Размер запроса определялся входными токенами, которые сообщал сервер. Модель могла нормально ответить после большого ввода и все равно провалить тест, если ошиблась в начальном маркере.

В прогрессии Qwen3.5 35B использовались нумерованные записи-заполнители, температура 0 и длина 3 800, 6 800, 10 000 и 13 600 записей. Этапы вернули 69 429, 124 179, 182 579 и 248 279 токенов промпта. Модель оставалась загруженной между этапами, что позволило повторно использовать префикс. Отдельные проверки Qwen3.6 около лимита сообщили о нуле токенов из кэша.

Длинный промпт 0.8B повторял river stone lantern orchard circuit velvet compass marble 8 400 раз между начальным ключом ответа и последним вопросом. Нативный запуск использовал think:false, num_ctx:131072, stream:false и keep_alive:0. OpenAI-совместимый маршрут использовал reasoning_effort:"none". Брокер принудительно включал режим без размышления.

Проверки инструментов, зрения и освобождения

Тесты инструментов проверяли запрос и ответ после результата инструмента. Простой тест использовал add_numbers(7, 11) и ожидал 18. Тест Qwen3.5 35B использовал lookup_square и ожидал 49. GPT-OSS запрашивал данные об инвентаре и должен был включить возвращенный результат.

Для проверки зрения задавались вопросы о красных и синих изображениях, обратном порядке изображений и длинных промптах с цветами и начальным/конечным маркерами. В тесте Qwen3.5 35B использовался красный PNG 256 × 256. До успешного запроса брокеру потребовалось исправление преобразования изображения. Длинный тест зрения 4B на системе E требовал сохранить оба маркера и порядок цветов.

Во время длинных запусков я проверял память GPU, резидентность модели, температуры, давление на память хоста, события OOM и ошибки GPU. Проверка Qwen3.5 35B также контролировала освобождение после управляемого прерывания. Поздние тесты отмены клиентом и очереди запросов проверяли путь через брокер. Два запроса в очереди подтверждают обработку проверенной нагрузки, а не наличие двух независимых одновременных GPU-бэкендов.

Как читать результаты производительности

Время запроса включает предварительную обработку длинного ввода и ответ. Это не скорость генерации токенов в секунду. При потоковой передаче важно время до первого содержимого, а последовательности с кэшированным префиксом нужно оценивать отдельно.

Успешные дополнительные запуски крупных моделей на системах A и C использовали отдельные окна инференса с остановленным майнингом. После запросов модели выгружались. Майнинг возобновлялся на всех семи системах в конце окна. Эти результаты описывают обслуживание модели в окне инференса, а не одновременный майнинг и инференс.

Профили бэкендов в тестах

Выберите профиль для нагрузки, которую хотите воспроизвести. Квантование, контекст среды выполнения, тип кэша, режим рассуждения и расположение GPU влияют на результат.

Система и модель Проверенный профиль бэкенда
A, Qwen3.5 35B-A3B Q4_K_M Ollama 0.34.2, кэш KV f16, обе RTX 5060 Ti по 16GB, 64 GiB RAM хоста и контекст 262,144 для длинной серии. Нативные запросы использовали think:false, температуру 0, потоковую передачу и пятиминутный keep-alive между этапами. Запросы шлюза проходили через брокер и LiteLLM. Без ограничения вывода.
A, Qwen3.8 27B llama.cpp по требованию через брокер и LiteLLM, контекст 262,144, один слот инференса, кэш K/V Q4 и обе RTX 5060 Ti. Запрос на 66,007 токенов не имел ограничения вывода.
A, Qwen3.6-35B-A3B UD-Q4_K_XL Strata 0.1.48, контекст 131,072, кэш KV INT8, одна выбранная GPU, лимит памяти группы процессов 55 GiB, лимит выполнения 30 минут, отложенная загрузка и выгрузка после 60 секунд простоя. Длинный ответ пилота: 217 выходных токенов. Ответ шлюза около лимита: 11 токенов, без ограничения вывода.
A, Qwen3.8-Flash-Next UD-IQ4_XS Strata 0.1.48, контекст 98,304, кэш KV Q4, резидентный кэш экспертов 8 GiB и обе RTX 5060 Ti. Лимит памяти пилота 52 GiB, позднейшего маршрута 54 GiB. Длинный ответ пилота: 10 токенов. Предыдущие сочетания большего контекста и кэша остановились на лимитах памяти.
A, Granite 4.2 8B Веса GGUF Q6_K, общий рабочий процесс llama.cpp, контекст 131,072, кэш K/V Q4_0 и --n-predict -1. Длинный запрос использовал температуру 0 и потоковую передачу данных об использовании, без ограничения вывода.
A, DeepSeek Coder V2 16B Веса GGUF Q4_0, Ollama 0.34.2, две RTX 5060 Ti и 64 GiB RAM хоста. Отдельные испытания кэшей f16, Q4_0 и Q8_0 использовали контекст из таблицы сравнения. Без ограничения вывода.
B, C, D, проверенная служба Ollama Ollama 0.34.2, контекст 131,072, параллелизм 1, одна загруженная модель, очередь размером 128, keep-alive 0, Flash Attention и кэш KV Q4_0.
B, пилот шлюза Qwen3.5 9B Тайм-аут маршрута LiteLLM 1,800 секунд, без повторов и ограничений контекста или выходных токенов. Оба маркера сохранены при 72,265 входных токенах. Отдельная проверка восстановления майнинга пройдена.
C, Qwen3.5 0.8B Веса Q8_0 на одной RTX 2000E Ada с профилем мощности 30 W. Контекст 131,072. Нативный think:false, совместимый с OpenAI reasoning_effort:"none", без ограничения вывода. Псевдоним брокера закреплял контекст и включал режим без рассуждений.
C, Gemma 4 12B-IT Профиль Ollama на одной GPU, контекст 131,072, потоковые и непотоковые запросы Aperture без ограничения вывода. Прямой запуск Aperture достиг 75 C и 30,64 W при настроенном профиле 30 W, затем модель выгрузилась.
D, Qwen3.5 9B, Gemma 4 12B-IT, GPT-OSS 20B Точные установленные артефакты проверены через Aperture, контекст 131,072, полная резидентность на одной GPU, естественное завершение без ограничения вывода запроса.
E, F, G, процессы чата llama.cpp Build 11669, 99 слоёв GPU, параллелизм 1, Flash Attention, кэш K/V Q4_0 и --n-predict -1. Контекст выполнения зависел от семейства моделей.

Записанные профили сервиса описывают собственные настройки среды выполнения. Отдельно проверенный профиль Qwen3.5 35B с кэшем f16 на системе A не наследует настройки кэша Q4_0 от меньших систем Ollama.

Отпечатки моделей в новых тестах сохранения ввода

Эти идентификаторы моделей отличают проверенные артефакты от других загрузок или псевдонимов с похожими именами.

Артефакт Квантование Дайджест или SHA-256 файла
Qwen3.5 35B-A3B Ollama tag Q4_K_M 72aac7c28be8ff9b81c2a270eb489c88e6d822a76ec0cb7bf34d965768848567
Qwen3.5 0.8B base Ollama tag Q8_0 de63045f29755d4721c09d54c9b45c2dadb644f4fd7d604d4cac90d96049971c
Granite 4.2 8B GGUF file Q6_K 5ad3d67f6fe09a448031029bead7f6a088697ca2787c0c5640bf964c59df1a21

Дайджесты манифеста Ollama и SHA-256 файлов весов идентифицируют разные объекты. Сопоставьте идентификатор с типом артефакта в таблице.

Что я бы запускал с Hermes

Основным маршрутом с большим контекстом на системе с двумя RTX 5060 Ti я бы сделал Qwen3.5 35B. Сохранение 239 153 токенов через шлюз, отдельные успешные проверки инструментов и зрения, а также подтвержденное освобождение ресурсов говорят в его пользу сильнее, чем одно лишь рекламное окно контекста. Qwen3.8 27B я бы оставил для более быстрого ответа при 66K, а Qwen3.6 — если важна одна карта.

На системах RTX 2000E Ada для проверенной нагрузки длинного ввода я бы выбрал подтвержденный маршрут Gemma 3 4B на системе C. Qwen3.5 0.8B без размышления я бы испытал для ограниченных задач извлечения. Более крупные маршруты Gemma, Qwen и GPT-OSS подойдут, если допустим первый ответ через четыре-пять минут. Неудачный маршрут Gemma 3 на системе D я бы исключил.

На 8-ГБ картах RTX 3060 Ti и RTX 3070 я бы начал с Qwen3.5 2B или 4B. Текстовые результаты 65K и проверки изображений 4B подтверждают полезную стартовую конфигурацию без выделения двух 16-ГБ карт для каждого запроса. Давление на память Flash Next и неполное поведение DeepSeek Coder V2 при 65K делают их менее удачными вариантами по умолчанию для протестированных профилей.

Тесты подтверждают эти сочетания моделей и систем для конкретных сценариев. Сохранение ввода, правильный цикл инструмента, распознавание изображения и корректное освобождение отвечают за разные аспекты пригодности Hermes. Надежная конфигурация должна поддерживать нужное агенту поведение и оставлять контекст для ответа и работы инструментов.

Источники и материалы по теме