2x RTX 5060 Ti против GB10: локальный тест ИИ на пяти моделях с контекстом 256K
Table of Contents
Две карты RTX 5060 Ti с 16 ГБ обеспечивают в сумме 32 ГБ VRAM. Система NVIDIA GB10 предоставляет 128 ГБ когерентной унифицированной памяти. Новый тест пяти моделей дает более сбалансированную картину, чем прежний тест только с Qwen.
При настройке 256K система с двумя картами генерирует быстрее на четырех из пяти моделей. GB10 заметно опережает ее на Qwen3.8 27B и оставляет больше памяти для моделей, контекста и выделений среды выполнения. Лучший выбор зависит от модели и нагрузки.
В отдельном запуске на том же хосте сравнили Qwen3.8-Flash-Next IQ2_XS в Strata и плотную модель Qwen3.8 27B Q4_K_M в Ollama. Медианная скорость генерации Flash-Next после прогрева составила 92.8 токена в секунду при запросе длиной 260,446 токенов. Плотная Qwen3.8 достигла 0.939 токена в секунду при запросе длиной 260,444 токена.
NVIDIA GB10 использует 128 ГБ когерентной унифицированной памяти. NVIDIA указывает для платформы GB10 128 ГБ унифицированной памяти LPDDR5x и TDP чипа 140 Вт. На каждой RTX 5060 Ti установлено 16 ГБ GDDR7, интерфейс памяти имеет ширину 128 бит, а заявленная мощность видеокарты составляет 180 Вт. Разницу оборудования описывают характеристики NVIDIA RTX 5060 Ti и характеристики NVIDIA GB10 .
Обе системы используют память по-разному. Две карты образуют два отдельных пула по 16 ГБ. GB10 размещает модель, данные контекста, буферы среды выполнения и выделения операционной системы в общем адресном пространстве.
Сравнение памяти
| Система | Память | Модель памяти | Заявленная мощность |
|---|---|---|---|
| 2x RTX 5060 Ti 16 GB | 32 ГБ суммарно | Два отдельных пула памяти GPU | 360 Вт суммарно для GPU |
| Система GB10 | 128 ГБ | Когерентная унифицированная системная память | TDP GB10 140 Вт |
GB10 выигрывает не каждый тест пропускной способности: LPDDR5x уступает памяти дискретных GPU. Его преимущество связано с емкостью и размещением данных. CPU и GPU используют одно адресное пространство, поэтому рабочий набор не нужно вмещать в два изолированных устройства по 16 ГБ.
В системе с двумя картами возникает задача размещения. Модель нужно разделить между картами, а среда выполнения должна передавать данные между ними. Трафик PCIe увеличивает задержку и занимает пропускную способность. Согласно спецификациям NVIDIA, RTX 5060 Ti также не поддерживает NVLink.
Тест пяти моделей
В обновленном тесте на обеих системах использовалась одна матрица запросов. Она включала пять моделей Ollama с настройками контекста 4K, 16K, 32K, 64K, 128K и 256K. Каждый запрос генерировал 128 токенов при температуре 0.
Использовались следующие теги моделей:
- Qwen3.8 27B:
qwen3.8:27b - GPT-OSS 20B:
gpt-oss:20b - Qwen3.6 35B-A3B:
qwen3.6:35b - Qwen3.5 35B-A3B:
qwen3.5:35b-a3b-q4_K_M - Nemotron 3.5 Lightning 30B-A3B:
nemotron-3.5-lightning:30b-a3b-q4_K_M
В системе с двумя картами использовались две RTX 5060 Ti по 16 ГБ. Система GB10 использовала 128 ГБ унифицированной памяти. Тесты запускались в Ollama: версия 0.34.2 работала на системе с двумя картами, а 0.40.2 — на GB10.
Скорость генерации
Скорость генерации показывает, сколько токенов модель выдает после обработки запроса. Этот показатель особенно важен в интерактивном диалоге.
Система с двумя RTX 5060 Ti:
| Контекст | GPT-OSS 20B | Nemotron 3.5 | Qwen3.5 35B | Qwen3.6 35B | Qwen3.8 27B |
|---|---|---|---|---|---|
| 4K | 91.518 | 162.027 | 117.547 | 156.104 | 55.654 |
| 16K | 87.176 | 161.377 | 112.903 | 140.596 | 51.656 |
| 32K | 82.372 | 157.055 | 106.455 | 144.833 | 47.369 |
| 64K | 74.661 | 135.106 | 95.979 | 125.008 | 38.863 |
| 128K | 62.767 | 130.924 | 79.572 | 115.352 | 26.399 |
| 256K | 67.853 | 106.221 | 58.947 | 67.159 | 1.079 |
GB10:
| Контекст | GPT-OSS 20B | Nemotron 3.5 | Qwen3.5 35B | Qwen3.6 35B | Qwen3.8 27B |
|---|---|---|---|---|---|
| 4K | 62.199 | 98.648 | 72.405 | 100.906 | 32.985 |
| 16K | 56.764 | 94.366 | 69.782 | 95.448 | 32.939 |
| 32K | 53.257 | 98.175 | 64.055 | 95.025 | 29.772 |
| 64K | 49.201 | 96.132 | 58.428 | 84.528 | 25.625 |
| 128K | 40.637 | 80.238 | 48.108 | 74.579 | 22.294 |
| 256K | 43.688 | 68.043 | 36.649 | 62.115 | 22.371 |
При 256K система с двумя картами быстрее генерировала на GPT-OSS, Nemotron, Qwen3.5 и Qwen3.6. На Qwen3.8 GB10 значительно опередил ее: скорость системы с двумя картами упала до 1.079 токена в секунду, а GB10 выдавал 22.371 токена в секунду.
Результаты Qwen3.6 близки: система с двумя картами достигла 67.159 токена в секунду, GB10 — 62.115. Эти данные не подтверждают общего правила, что унифицированная память всегда выигрывает или что два дискретных GPU всегда лучше.
Скорость обработки запроса
Обработка запроса показывает, насколько быстро среда выполнения считывает входной контекст до генерации. Это важно для длинных документов и повторной загрузки контекста.
Система с двумя RTX 5060 Ti:
| Контекст | GPT-OSS 20B | Nemotron 3.5 | Qwen3.5 35B | Qwen3.6 35B | Qwen3.8 27B |
|---|---|---|---|---|---|
| 4K | 4745.9 | 2409.0 | 2701.7 | 464.3 | 783.9 |
| 16K | 7617.0 | 3031.8 | 4175.3 | 2654.0 | 840.1 |
| 32K | 8099.5 | 3074.2 | 4335.8 | 2623.2 | 811.2 |
| 64K | 6809.5 | 2893.0 | 4129.9 | 2400.4 | 727.8 |
| 128K | 5089.9 | 2362.7 | 3084.0 | 1723.6 | 546.1 |
| 256K | 5838.3 | 1813.2 | 2229.1 | 1011.0 | 251.3 |
GB10:
| Контекст | GPT-OSS 20B | Nemotron 3.5 | Qwen3.5 35B | Qwen3.6 35B | Qwen3.8 27B |
|---|---|---|---|---|---|
| 4K | 3295.5 | 576.0 | 2067.9 | 628.8 | 756.9 |
| 16K | 4675.5 | 3006.7 | 2691.2 | 2556.3 | 812.6 |
| 32K | 4571.4 | 3077.9 | 2691.7 | 2563.9 | 794.1 |
| 64K | 3704.7 | 3066.9 | 2585.3 | 2444.9 | 714.0 |
| 128K | 2857.0 | 2802.9 | 2360.4 | 2229.9 | 655.5 |
| 256K | 3243.4 | 2325.4 | 1938.5 | 1817.6 | 535.1 |
При 256K система с двумя картами быстрее обрабатывала запросы GPT-OSS и Qwen3.5. GB10 лидировал на Nemotron, Qwen3.6 и Qwen3.8. Архитектура модели и поведение среды выполнения важны не меньше интерфейса памяти.
Дополнительные тесты Qwen3.8 Flash-Next
В трех дополнительных запусках измерялись пакеты Qwen3.8 Flash-Next GGUF на системе с двумя RTX 5060 Ti при контекстах 4K и 16K. В каждой строке указаны точная ссылка на модель в Hugging Face и квантование.
| Точная модель | Квантование | Генерация 4K | Генерация 16K |
|---|---|---|---|
hf.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF:IQ2_XS
|
IQ2_XS | 31.77 tok/s | 28.20 tok/s |
hf.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF:IQ3_S
|
IQ3_S | 24.54 tok/s | 22.60 tok/s |
hf.co/orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF:Q4_K_M
|
Q4_K_M | 17.91 tok/s | 17.02 tok/s |
Пакет IQ2_XS показал наибольшую скорость в этой группе: 31.77 токена в секунду при 4K против 24.54 у IQ3_S и 17.91 у Q4_K_M. При 16K порядок сохранился: 28.20, 22.60 и 17.02 токена в секунду.
Запустите те же точные ссылки на модели в Ollama:
ollama run hf.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF:IQ2_XS
ollama run hf.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF:IQ3_S
ollama run hf.co/orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF:Q4_K_M
Эти прежние дополнительные результаты получены на системе с двумя GPU и отделены от приведенной выше сопоставимой матрицы запросов RTX 5060 Ti и GB10. В предоставленной записи указаны точные ссылки на модели, квантования, настройки контекста и скорость генерации. В ней отсутствуют разрешенные дайджесты манифестов, число обработанных токенов запроса, длина вывода, состояние прогрева, распределение по устройствам, CPU, системная RAM, конфигурация охлаждения и дата измерения.
Strata и плотная модель Ollama при 256K
Во втором тесте от 14 октября 2026 года сравнили два стека моделей и среды выполнения на одном хосте с двумя RTX 5060 Ti. Плотной базовой моделью была
qwen3.8:27b
, модель Qwen35 с 27.3 млрд параметров в Q4_K_M. В стеке Flash использовалась
Qwen3.8-Flash-Next IQ2_XS
, модель Qwen4Exp типа mixture-of-experts в унифицированном нативном пакете Strata.
Это сравнение стеков целиком. Одновременно менялись архитектура модели, квантование, упаковка, маршрутизация экспертов и движок инференса. Варианты Flash IQ3_S и Q4_K_M в эту проверку не вошли.
Тестовая система и методика
| Компонент | Зафиксированная конфигурация |
|---|---|
| GPU | 2x NVIDIA GeForce RTX 5060 Ti, по 16 GiB, compute capability 12.0 |
| Подключение GPU | PCIe 4.0 x4 на карту, топология PHB, без NVLink |
| CPU | AMD Ryzen 9 5900XT, 32 потока |
| Память хоста | 62 GiB RAM и 15 GiB swap |
| Драйвер NVIDIA | 595.99.02 |
Стенд создавал синтетические пронумерованные записи. Каждая строка имела формат Record 00001: alpha beta gamma delta epsilon zeta eta theta iota kappa. Инструкция требовала сначала вывести BENCHMARK_OK, а затем краткий технический обзор до предела вывода. Шесть запросов содержали 180, 720, 1,500, 3,100, 6,200 и 12,400 записей.
В каждом запуске использовались температура 0, seed 42 и максимальная длина вывода 128 токенов. Для каждого контекста после одного прогрева выполнялось пять измеряемых запросов. Тесты Ollama использовали /api/generate, тесты Strata — /v1/chat/completions. Все измеряемые запросы завершились без ошибок API.
Параметры декодирования не были согласованы. Strata явно установила reasoning_effort в none и отключила режим рассуждения через шаблон чата. Запрос плотной модели в Ollama не передавал think: false, а дополнительная проверка обнаружила вывод плотной модели в полях рассуждения и ответа. Считайте результат генерации специфичным для этих режимов декодирования.
| Настройка контекста | Токены запроса плотной модели | Токены запроса Flash |
|---|---|---|
| 4K | 3,824 | 3,826 |
| 16K | 15,164 | 15,166 |
| 32K | 31,544 | 31,546 |
| 64K | 65,144 | 65,146 |
| 128K | 130,244 | 130,246 |
| 256K | 260,444 | 260,446 |
В заголовках обеих моделей был указан максимальный контекст 262,144 токена. Парные запросы на каждой контрольной точке различались на два токена.
Медианная скорость генерации после прогрева
Каждая медиана рассчитана по пяти измеряемым запросам после одного прогрева. Каждый запрос плотной модели повторно использовал все токены запроса, кроме четырех; каждый запрос Flash — кроме семи. Таблица показывает скорость декодирования после прогрева с кешированием префикса, а не сквозную задержку холодного запуска.
| Контекст | Flash IQ2_XS в Strata | Плотная Q4_K_M в Ollama | Преимущество Flash |
|---|---|---|---|
| 4K | 98.4 tok/s | 65.0 tok/s | 1.51x |
| 16K | 96.8 tok/s | 60.6 tok/s | 1.60x |
| 32K | 95.3 tok/s | 64.4 tok/s | 1.48x |
| 64K | 89.6 tok/s | 51.2 tok/s | 1.75x |
| 128K | 92.9 tok/s | 31.5 tok/s | 2.95x |
| 256K | 92.8 tok/s | 0.939 tok/s | 98.9x |
Скорость стека Flash оставалась около 90 токенов в секунду в диапазоне от 64K до 256K. Плотная Qwen3.8 резко замедлилась после 64K и при 256K достигла 0.939 токена в секунду. Ответ Flash при 256K штатно завершился после 67 токенов. Плотный запуск достиг лимита вывода в 128 токенов.
Обработка запроса при первом обращении
| Контекст | Первый запрос Flash | Первый запрос плотной модели |
|---|---|---|
| 4K | 1,134 tok/s | 832 tok/s |
| 16K | 2,013 tok/s | 856 tok/s |
| 32K | 2,386 tok/s | 799 tok/s |
| 64K | 2,509 tok/s | 690 tok/s |
| 128K | 2,538 tok/s | 489 tok/s |
| 256K | 2,399 tok/s | 214 tok/s |
Первый запрос плотной модели полностью обрабатывал запрос на каждой контрольной точке. Strata сообщила о повторном использовании 16,384 токенов префикса при 64K, 49,152 при 128K и 114,688 при 256K. Скорость Flash от 64K до 256K следует считать пропускной способностью продолжения первого запроса, а не полным prefill без кеша.
При 256K Strata обработала первый запрос за 60.8 секунды. Ollama потребовалось около 1,215.4 секунды. Повторное использование префикса не позволяет напрямую сравнить холодный prefill на этой контрольной точке.
Размещение среды выполнения объясняет разницу на длинном контексте
Ollama 0.34.2 использовала llama-server 0.4.1-dev с выгрузкой слоев CUDA, шаблоном ChatML и спекулятивным декодированием MTP с максимальной шириной черновика четыре. Размеры batch и microbatch составляли 1,024 при 32K и 512 от 64K до 256K. При 32K и 64K все 66 плотных слоев оставались на GPU. При 128K на GPU оставались 63 из 66 слоев, а 1,404 MiB перемещались в память, отображенную на CPU. При 256K на GPU оставались 42 из 66 слоев, а 6,002 MiB перемещались в память, отображенную на CPU. Доля принятых MTP-предложений при 256K составляла около 69.4 процента.
Strata 0.1.44.1 с CUDA 13.0.3 распределяла 48 слоев между двумя GPU. В конфигурации 4K и 16K слои 0–23 размещались на первом GPU, а 24–47 — на втором. В этом проходе использовался автоматический резерв VRAM 700 MiB и 16,047 резидентных слотов экспертов.
В конфигурации от 32K до 256K слои 0–24 размещались на первом GPU, а 25–47 — на втором. Использовались автоматический prefill, минимальная вероятность спекулятивного декодирования 0.5, хранение KV в INT8, 32,768 резидентных ячеек KV на слой QSA, резерв VRAM 832 MiB, кеш экспертов на 15,318 слотов и 21,024 MiB, а также спекулятивное декодирование MTP с максимальной шириной черновика четыре.
Дайджест нативного blob Strata и PLE: sha256:1473e0664c2017095f9164b6d617d7a71893452c1180c83002c4f28fc8c2b0da. Запуск также зависел от профиля экспертов и чернового пакета MTP без опубликованных неизменяемых дайджестов.
В запуске Strata использовался стандартный режим пропуска хвоста маршрутизации. Эта настройка слегка меняет вывод модели, поэтому результат относится к записанной конфигурации среды выполнения. Ответы Flash содержали маркеры BENCHMARK_OK. Плотные запросы не вызвали ошибок API, но основной стенд не захватил маркер. В необработанных строках указано ноль символов ответа. Последующая проверка обнаружила вывод в полях ответа и рассуждений и подтвердила BENCHMARK_OK в ответе.
В конфигурации 4K и 16K был зарегистрирован запрос при 409 MiB свободной памяти; рекомендовался резерв 832 MiB. В конфигурации длинного контекста запрос зарегистрирован при 481 MiB свободной памяти; рекомендовался резерв 896 MiB. Оба значения ниже порога вытеснения драйвера в 512 MiB. Запросы не завершились сбоем, но такой низкий запас влияет на повторяемость.
Значение 98.9x следует считать результатом длинного контекста для всего стека, а не доказательством 98.9-кратного преимущества одного движка. Тест изолирует хост, но не модель, квантование или среду выполнения.
Фактическая длина запроса имеет значение
Запрошенный размер контекста не равен числу обработанных токенов запроса. При настройке 256K обе системы обработали в запусках Qwen3.5, Qwen3.6, Nemotron и Qwen3.8 около 171,359–171,365 фактических токенов запроса.
При настройке 256K GPT-OSS обработала 65,538 фактических токенов запроса на обеих системах. Поэтому ее строка 256K не соответствует той же длине входных данных, что и у остальных моделей.
Результат Qwen3.8 при 256K показывает самую явную разницу. Система с двумя картами обработала 171,359 токенов запроса со скоростью 251.3 токена в секунду и генерировала со скоростью 1.079 токена в секунду. GB10 обработала столько же токенов запроса со скоростью 535.1 токена в секунду и генерировала со скоростью 22.371 токена в секунду.
Настройка контекста задает требуемый предел. Фактическое число токенов запроса показывает, какую нагрузку обработала среда выполнения.
Почему суммарный объем VRAM все еще важен
1. Модель не видит одну карту объемом 32 ГБ
Два GPU не объединяют память в одно локальное адресное пространство. Среда model-parallel распределяет слои или тензоры между устройствами. Каждому устройству по-прежнему нужны место для назначенных весов, временных буферов и части состояния контекста.
Доступная емкость меньше простой суммы. Точный объем накладных расходов зависит от формата модели, квантования, backend инференса, разбиения тензоров и длины контекста.
2. Память контекста растет во время генерации
Веса модели — лишь часть бюджета памяти. Кеш ключей и значений (KV cache) хранит данные attention для предыдущих токенов. Для длинного контекста требуется больше памяти кеша. Тест 4K не позволяет предсказать работу при 128K или 256K.
Новые результаты показывают разные пределы для каждой модели. При 256K скорость генерации Qwen3.8 резко падает на системе с двумя картами. Остальные четыре модели сохраняют приемлемую скорость на обеих системах. Емкость памяти важна, потому что она определяет, какие сочетания модели и контекста помещаются вместе с выделениями среды выполнения.
3. Передачи PCIe создают дополнительные издержки
Когда среда выполнения переносит активации или тензоры между GPU, данные проходят через межсоединение хоста. Это создает точки синхронизации и добавляет задержку на каждом шаге. Штраф зависит от размещения тензоров, архитектуры модели, квантования и длины контекста.
Это не делает систему с двумя GPU бесполезной. Результат зависит от конфигурации среды выполнения и модели. Тест, в котором указана только обработка запроса при 4K, не учитывает эти издержки.
4. Энергоэффективность остается системным преимуществом
GB10 обеспечивает большую емкость памяти при меньшей заявленной мощности чипа или GPU. Две RTX 5060 Ti имеют суммарную заявленную мощность GPU 360 Вт без учета остальной системы. NVIDIA указывает для GB10 TDP 140 Вт.
GB10 уступает в пиковой пропускной способности на нескольких моделях ради большей емкости, общего рабочего набора и меньшей заявленной мощности GPU. Система с двумя картами показывает более высокую измеренную пропускную способность на нескольких новых моделях MoE.
Система 5060ti-x2 стоит значительно дешевле
Полная рабочая станция с двумя RTX 5060 Ti по 16 ГБ стоила $3,479 по предложению от 10 октября 2026 года. Конфигурация включает Intel Ultra 7 265K, материнскую плату Z890, 32 ГБ DDR5, накопитель 1 ТБ, блок питания 1,000 Вт и обе видеокарты. Посмотрите предложение полной рабочей станции с двумя GPU .
На американской торговой площадке NVIDIA DGX Spark с 128 ГБ памяти стоит $6,950. В предложение входят 128 ГБ когерентной унифицированной памяти и 4 ТБ NVMe, но система отмечена как отсутствующая на складе. Проверьте текущее предложение DGX Spark на сайте NVIDIA .
Платформа разработчика AMD Ryzen AI Halo дает еще один вариант сравнения. В Micro Center система Strix Halo стоит $3,999.99, имеет 128 ГБ унифицированной памяти LPDDR5x и накопитель 2 ТБ. Strix Halo часто относится к тому же практическому классу локальных ИИ-систем, что и GB10, хотя независимые тесты нередко показывают преимущество GB10 по пропускной способности и зрелости ПО. Проверьте актуальное предложение Linux в Micro Center и прочитайте обзор Strix Halo и GB10 .
| Система в сборе | Цена в предложении от 10 октября 2026 года | Разница в цене |
|---|---|---|
| Рабочая станция 5060ti-x2 | $3,479 | Базовая цена |
| AMD Ryzen AI Halo, Strix Halo | $3,999.99 | На $520.99 больше |
| 128 GB GB10 DGX Spark | $6,950 | На $3,471 больше |
GB10 дает более емкий пул унифицированной памяти при меньшей заявленной мощности GPU. Система AMD предлагает тот же класс памяти 128 ГБ примерно за $4,000. Рабочая станция 5060ti-x2 стоит около 50% указанной цены GB10 без учета налогов и доставки.
Это цены из предложений разных продавцов, а не сравнение в одинаковой розничной корзине. В системе 5060ti-x2 также меньше системной памяти и места для хранения. Сейчас карты RTX 5060 Ti на 16 ГБ стоят около $789–$830 за штуку, намного выше стартовой рекомендованной цены $429. Поэтому ценовое преимущество двухкартной системы сохраняется во время текущего скачка цен на GPU. Проверьте текущие цены RTX 5060 Ti .
Что это означает для локальных ИИ-нагрузок
Конфигурация с двумя картами по 16 ГБ запускает несколько квантованных моделей 27B–35B при длинном контексте. Тест не выявляет единственного победителя для всех моделей.
Выбирайте систему с двумя картами, если важны:
- Более высокая скорость генерации GPT-OSS, Nemotron, Qwen3.5 и Qwen3.6 в этом тесте.
- Более высокая пропускная способность при коротком контексте на пяти моделях.
- Более низкая стоимость покупки, чем у GB10 из предложения.
- Совместимость ПО с дискретными GPU NVIDIA и возможность тестировать новые модели.
Выбирайте GB10, если важны:
- Qwen3.8 27B при 256K, где GB10 генерирует более чем в 20 раз быстрее.
- Единый пул памяти 128 ГБ с большим запасом для весов модели, KV-кеша и буферов среды выполнения.
- Меньшая заявленная мощность GPU или чипа, чем у двух дискретных карт.
- Меньше ограничений размещения на нескольких устройствах для моделей, нагружающих двухкартную конфигурацию.
Это соответствует рекомендациям по подбору оборудования в статье Достаточно ли 16 ГБ VRAM для серьезной работы с локальными LLM? , где веса, контекст и выделения среды выполнения учитываются в одном бюджете. Руководство по 32 ГБ VRAM для Qwen 27B приходит к тому же выводу для систем с двумя картами. Суммарный объем не равен доступному запасу.
Перед покупкой оборудования для работы с длинным контекстом задайте четыре вопроса:
- Помещается ли нужное квантование вместе с буферами среды выполнения? Одних весов модели недостаточно для оценки памяти.
- Помещается ли контекст без чрезмерной нагрузки на KV-кеш? Длинные запросы меняют результат.
- Эффективно ли среда выполнения распределяет нагрузку между устройствами? Передачи PCIe и размещение тензоров влияют на каждый сгенерированный токен.
- Обрабатывает ли система заданный контекст полностью? Высокая скорость на 4K не компенсирует сбой при нагрузке 256K.
Новый тест отвечает на эти вопросы отдельно для каждой модели. При 256K Qwen3.8 явно предпочитает GB10. В этой конкретной конфигурации остальные четыре модели быстрее генерируют на системе с двумя картами. Более емкий пул унифицированной памяти все равно дает дополнительный запас, даже если не обеспечивает максимальную измеренную скорость.
На том же оборудовании с двумя GPU при 256K зафиксирована и медиана 92.8 токена в секунду после прогрева для Flash-Next IQ2_XS в Strata. Этот отдельный результат не отменяет вывод о плотной Qwen3.8 на GB10. Flash-Next использует другую архитектуру mixture-of-experts, квантование, пакет, среду выполнения и режим декодирования. В этом наборе данных нет сопоставимого результата Flash-Next на GB10.
Итог
Система с двумя RTX 5060 Ti быстрее генерирует на четырех из пяти проверенных моделей при 256K. Она также стоит примерно вдвое дешевле указанной системы GB10. GB10 остается лучшим выбором для Qwen3.8 27B при 256K, когда важен запас памяти или нагрузка выигрывает от единого когерентного пула.
Прежний тест только с Qwen указывал на очевидную победу GB10. Обновленный тест пяти моделей показывает, почему такой вывод был слишком общим. На результат влияют архитектура модели, версия среды выполнения, размещение тензоров и поведение при разном контексте.
Если вы используете GPT-OSS, Nemotron 3.5 Lightning, Qwen3.5 или Qwen3.6, в этом тесте система с двумя картами генерировала быстрее. Для Qwen3.8 27B при 256K GB10 обеспечил приемлемую скорость, а система с двумя картами почти остановилась.
Емкость памяти и пропускная способность — отдельные критерии выбора. GB10 предлагает в четыре раза больше суммарной памяти и более простой общий рабочий набор. Система с двумя картами показывает более высокую скорость на большинстве проверенных моделей при значительно меньшей указанной цене.
Результат Strata показывает еще один фактор. Размещение в среде выполнения, архитектура модели и режим декодирования изменили результат 256K на том же хосте с двумя картами. Flash-Next IQ2_XS сохранял медиану около 93 токенов в секунду после прогрева, а плотная Qwen3.8 выгрузила 24 слоя и замедлилась ниже одного токена в секунду.
Ограничения теста
В тесте записаны теги моделей, запрошенные размеры контекста, фактическое число токенов запроса, скорость обработки запроса и генерации, версии Ollama и целевой вывод в 128 токенов. Не записаны разрешенные дайджесты манифестов, энергопотребление CPU и всей системы, скорость вентиляторов или конфигурация охлаждения.
Строки GPT-OSS при 256K включают 65,538 фактических токенов запроса на обеих системах. В остальных строках 256K обработано около 171K фактических токенов. Рассматривайте значения как сравнение проверенных систем, а не как универсальный рейтинг всех пар RTX 5060 Ti и всех систем GB10.
В тесте Strata против плотной модели записаны точные размеры запросов, пять измеренных запросов на каждый контекст, версии среды выполнения, размещение устройств, параметры кеша и статус запросов. В сравнении одновременно меняются архитектура модели, квантование, упаковка, среда выполнения и режим декодирования. При контексте выше 32K Strata также повторно использовала префиксы запросов. Измеренные запросы генерации в обоих стеках повторно использовали почти весь запрос.
Точно воспроизвести тест по этой статье нельзя. Стенд тестирования, структура пакета Strata, профиль экспертов и черновой пакет MTP не опубликованы с неизменяемыми дайджестами. Предупреждение о низком VRAM также создает риск различий между запусками. Тест изолирует хост, но не движок инференса.
Приведенные выше характеристики оборудования взяты у NVIDIA. Данные производительности получены в контролируемом тесте для этой статьи.
Источники
- Библиотека моделей Qwen3.8 в Ollama
- Модели ISTA-DASLab Qwen3.8 Flash-Next GSQ-RCO GGUF
- Модели orcarouter Qwen3.8 Flash-Next Uncensored GGUF
- Библиотека моделей Qwen3.5 в Ollama
- Библиотека моделей Qwen3.6 в Ollama
- Библиотека моделей Nemotron 3.5 Lightning в Ollama
- Теги моделей GPT-OSS в Ollama
- Достаточно ли 16 ГБ VRAM для серьезной работы с локальными LLM?
- 32 ГБ VRAM для Qwen 27B
- Руководство по контексту локальных ИИ-моделей и GPU
- Тесты GPU для Qwen3.8 27B на Vast.ai
- Предложение полной рабочей станции с двумя RTX 5060 Ti по 16 ГБ
- Предложение NVIDIA DGX Spark на американской площадке
- Предложение AMD Ryzen AI Halo 128 ГБ с Linux
- Обзор Tom’s Hardware: Strix Halo и GB10
- Текущие цены RTX 5060 Ti