Table of Contents

32 ГБ на этикетке продукта не означают 32 ГБ, доступные для нагрузки Qwen 27B. Операционная система, runtime, KV-кэш, формат модели, стек драйверов и конфигурация карт меняют результат. Дешёвая карта с достаточной ёмкостью всё равно может сильно проиграть по обработке промпта или времени настройки.

В октябре 2026 года сравнивайте доступную память и выполненную работу на доллар, а не только число VRAM.

В этом руководстве рассматриваются практические способы запуска модели Qwen 27B с качеством 6 бит и большим контекстным окном. Опубликованные спецификации отделены от заявленных результатов тестов, поскольку результат tokens-per-second одного человека не является универсальным свойством GPU.

Почему целью являются 32 ГБ

Потребность в памяти начинается с весов. Плотная модель 27B читает полный набор параметров во время генерации. При 6-битном квантовании веса занимают примерно 20.5GB до добавления runtime-выделений и памяти контекста.

Контекст на 128K токенов добавляет ещё одно крупное выделение. Точный размер KV-кэша зависит от архитектуры модели, точности кэша, настроек batch и backend. Практическая оценка около 8GB даёт примерно 28.5GB для весов и кэша вместе, прежде чем операционная система и runtime инференса возьмут свою долю.

Конфигурация Что поддерживает
24GB discrete GPU 4-битные веса с уменьшенным контекстом или частичный offload
32GB discrete GPU 6-битные веса с полезной целью контекста 128K
Два GPU по 16GB Разделённая модель с меньшим запасом для runtime overhead
64GB unified memory Больший контекст и модели в пределах лимита выделения памяти GPU

32 ГБ это точка расчёта, а не гарантия. Модель может загрузиться, но оставить слишком мало места для длинного промпта, большого batch, мультимодальных входов или второго процесса.

Видео является полезным практическим источником

Видео ниже показывает практическое сравнение основных способов получить 32GB для локального AI. Оно полезно как источник заявленных цен, сложности настройки и результатов runtime. В этой статье используется отдельное сравнение по спецификациям оборудования, поведению памяти модели, поддержке ПО и полной стоимости владения.

Доступная память важнее памяти на коробке

Apple Unified Memory

Apple silicon использует общий пул для CPU и GPU. Apple указывает конфигурации Mac mini с 32GB unified memory, но весь пул не является выделенной графической памятью. Место также требуется macOS, приложению и runtime инференса.

Некоторые сессии llama.cpp сообщают примерно 22,906MB available в системе с 32GB. Это около 21,3GiB, поэтому для 6-битной модели 27B и большого KV-кэша остаётся мало места. Точный предел зависит от операционной системы, model runner, нагрузки на память и параметров запуска.

Apple silicon остаётся привлекательным для тихих систем. llama.cpp считает Metal полноценным backend, а Apple избегает проблем с драйверами и питанием, характерных для многих бывших в употреблении серверных карт. Компромисс заключается в меньшей производительности по сравнению с мощным дискретным GPU и менее предсказуемом запасе памяти.

Две карты по 16GB

Две карты по 16GB дают 32GB физической VRAM, но runtime модели также требует буферы для каждого устройства и пространство для обмена. Одна карта может показать 13.4GB использования, а другая 14.4GB. Оставшаяся ёмкость не является чистым резервом 4GB для контекста.

Важен и метод разделения. Layer splitting распределяет разные слои модели по разным картам. Это расширяет ёмкость, но карты проходят модель по очереди. Tensor splitting размещает работу одного слоя на обеих картах. Обмен данными увеличивается, зато оба устройства участвуют более непосредственно.

Метод разделения Главная польза Главная цена
Layer split Простое расширение ёмкости Одна карта часто ждёт, пока работает другая
Tensor split Лучшая параллельная обработка в некоторых нагрузках Больше настройки и трафика между устройствами
CPU plus GPU offload Запуск моделей, превышающих общий VRAM Большой штраф скорости, когда CPU часто обрабатывает слои

Для плана с двумя картами нужен протестированный backend до покупки. Поколение PCIe, расстояние между слотами, питание, поддержка драйверов и точная квантовка влияют на результат.

Варианты с одной картой

RTX 5090

NVIDIA указывает для RTX 5090 32GB GDDR7 и 1,792GB/s пропускной способности памяти. Карта имеет широкую поддержку CUDA, зрелые инструменты и множество протестированных frontend. В текущей таблице CUDA GPU для RTX 5090 указана compute capability 12.0.

Проблема в цене. Новая 5090 даёт простой путь к 32GB, но стоимость покупки конкурирует с несколькими месяцами аренды ускорителя. Потребление достигает 575W total graphics power, поэтому системе нужны серьёзный блок питания и охлаждение.

Radeon AI PRO R9700

R9700 это AMD-вариант класса 32GB с высокой пропускной способностью памяти и более низкой начальной ценой, чем у 5090 во многих предложениях. Ценность сильно зависит от runtime. Стандартный путь llama.cpp даёт пригодный результат, а более быстрый community backend в некоторых тестах даёт на той же карте намного больший результат.

Это наглядно показывает, почему в сравнении GPU нужны две колонки скорости. Decode speed измеряет сгенерированные токены. Prefill speed измеряет, насколько быстро backend читает промпт до первого сгенерированного токена. Кодовая база на 50,000 токенов обнаружит слабый prefill, даже если decode выглядит приемлемо.

Intel Arc Pro B70

Arc Pro B70 ориентирован на профессиональные нагрузки и имеет 32GB памяти. Это интересный вариант по ёмкости на доллар, но программный путь требует большей проверки, чем CUDA-железо. На результат влияют стандартная поддержка GGUF, исправленные сборки, настройки draft-token и зрелость backend.

Низкая цена покупки не компенсирует часы поиска работающей сборки. Для энтузиаста эта работа является частью проекта. Для рабочей станции ежедневного использования поддержка драйверов и приложений имеет реальную ценность.

Бывшие в употреблении серверные карты

Tesla V100

Подержанные Tesla V100 на 32GB привлекают внимание, потому что цена самой карты выглядит низкой. Полная сборка стоит дороже. Пассивной серверной карте нужны поток воздуха, подходящий корпус или shroud, адаптеры питания и хост с достаточным количеством PCIe.

Другая проблема это возраст ПО. Текущая таблица CUDA GPU сосредоточена на новых архитектурах и не включает V100 в своей актуальной таблице архитектур. Перед покупкой проверьте версию CUDA, ветку драйвера, backend и community fork.

Планируйте бюджет работающей системы V100, а не голой карты. Карта примерно за $680 может превратиться в проект около $1,000 после охлаждения, адаптеров и платформы хоста. Цены на подержанные карты также растут, когда популярная локальная AI-нагрузка направляет покупателей к одному и тому же снятому с производства ускорителю.

AMD Instinct MI50

MI50 предлагает привлекательную цену за гигабайт на вторичном рынке, но текущая поддержка ПО является серьёзным ограничением. Карта, требующая старого ROCm или community-maintained fork, не равна современной потребительской карте с основной поддержкой приложений.

Разрыв в обработке промпта важнее цены на наклейке. В одном сравнении для нагрузки обработки промпта получили около 128 tokens per second на MI50 против примерно 2,652 tokens per second на новой карте 32GB. Кодовая база на 50,000 токенов займёт минуты на медленном пути и секунды на быстром ещё до начала генерации.

MI50 подходит для узкого сценария. Она подходит сборщику, который ставит ёмкость выше скорости взаимодействия и принимает обслуживание драйверов. Для быстрого анализа кодовой базы это плохой выбор, если важен prefill.

ПО является частью GPU

llama.cpp поддерживает CUDA, HIP, Metal, Vulkan, SYCL и другие backend. Он также поддерживает гибридный CPU plus GPU inference и работу с несколькими GPU. Эти функции не дают одинаковую производительность у разных производителей и форматов моделей.

Одна и та же физическая карта часто показывает большие различия между:

  • Стандартной сборкой приложения с консервативными настройками.
  • Настроенной сборкой llama.cpp с kernels для конкретного backend.
  • Community fork со speculative или multi-token prediction.
  • Исправленным форматом модели, созданным для одного пути ускорителя.

Заявленные результаты из предоставленного сравнения включают примерно 27 tokens per second для стандартного AMD 32GB пути, около 46 tokens per second с multi-token prediction и гораздо большие значения на специализированном backend. Результат показывает запас, который даёт ПО. Это не обещание для новой установки.

Для каждого benchmark записывайте backend, commit, файл модели, quantization, длину контекста, длину промпта, batch size и состояние питания. Без этих полей tokens per second является рекламной цифрой.

Аренда вместо покупки

Аренда быстрого GPU меняет расчёт. Заявленная цена аренды RTX 5090 около $0.69 в час означает, что покупка за $4,400 равна примерно 6,377 часам аренды до учёта электричества, оборудования хоста, обслуживания и стоимости перепродажи.

Это почти девять месяцев непрерывной аренды или около двух лет при восьми часах в день. Настольная система с двумя картами примерно за $1,560 равна около 2,261 часа по той же ставке. Арендованная 5090 также исключает местное тепло, шум, настройку драйверов и отказ карты.

Сценарий использования Лучший первый тест
Несколько часов в неделю Hosted model или арендованный GPU
Короткий проект Арендуйте карту класса 5090 и измерьте реальную нагрузку
Ежедневная интерактивная работа Покупайте только после теста backend и цели контекста
Агенты, работающие ночью Собственное оборудование проще обосновать
Приватные данные при стабильной нагрузке Собственное оборудование с изоляцией сети

Арендуйте перед покупкой, если модель, backend или длина контекста ещё не определены. Один уикенд измерений дешевле неправильной покупки рабочей станции.

Рекомендации по покупке

Две карты RTX 5060 Ti по 16GB

Две карты по 16GB дают практичный путь CUDA покупателям, которым нужны 32GB, распространённые инструкции, драйверы и frontend. Используйте tensor splitting только после проверки формата модели и backend. Layer splitting проще, но часто оставляет часть производительности неиспользованной.

Этому варианту также нужны материнская плата с двумя рабочими слотами, достаточное питание и поток воздуха между картами. Пара карт уже не является маленькой рабочей станцией после добавления стоимости платформы.

Одна карта 32GB

Выбирайте одну карту 32GB, когда надёжность, гарантия и простое развёртывание важнее минимальной цены памяти. R9700 и RTX 5090 представляют разные версии этого выбора. AMD делает акцент на ёмкости и цене. NVIDIA делает акцент на широте ПО и зрелой поддержке CUDA.

Подержанная V100 или MI50

Выбирайте серверное оборудование только тогда, когда проект включает тестирование драйверов, работу с охлаждением и обслуживание backend. Цена карты это первая строка бюджета, а не последняя.

Apple Silicon

Выбирайте систему Apple silicon на 32GB, когда тишина, низкое энергопотребление в простое и компактный компьютер важнее максимальной производительности. Проверьте распределение памяти, которое показывает конкретный runner, прежде чем считать все 32GB доступными модели.

Облачная аренда

Выбирайте аренду, когда нагрузка возникает время от времени, модель часто меняется или быстрый ответ на промпт важнее локального владения. Выключайте инстанс после теста. Простой быстро уничтожает ценовое преимущество.

Улучшенная таблица сравнения

Перед покупкой запишите для каждого кандидата:

  • Доступную память модели после runtime overhead.
  • Формат весов и ожидаемый размер модели.
  • Размер KV-кэша при целевой длине контекста.
  • Скорость prefill на представительном промпте.
  • Скорость decode после заполнения контекста.
  • Версию backend и драйвера, необходимую для результата.
  • Потребление в простое и под нагрузкой по местному тарифу электричества.
  • Стоимость хоста, охлаждение, адаптеры, накопитель и гарантию.
  • Эквивалент аренды для ожидаемого числа часов использования.

Самый полезный тест использует промпт из вашей реальной нагрузки. Для программирования возьмите репрезентативную кодовую базу. Для исследования используйте длинный документ с обычным процессом поиска или вставки. Измерьте время до первого токена, время обработки промпта, скорость генерации, использование памяти и качество вывода.

Итоговая рекомендация

Купите две RTX 5060 Ti по 16GB для CUDA-сборки 32GB с минимальными проблемами. Используйте tensor-split только после небольшого теста, подтверждающего работу backend.

Купите одну карту 32GB, если нужна более простая рабочая станция. Предпочтите карту с лучшим программным путём для выбранного runner, а не карту с минимальной ценой гигабайта.

Используйте V100 или MI50 только при готовности к проекту обслуживания. Дешёвый ускоритель со слабым prefill не является выгодой для длинных промптов с кодовой базой.

Арендуйте GPU класса 5090 при нерегулярном использовании. Тест аренды даст реальные данные о памяти, скорости и контексте до крупной покупки.

Вопрос о 32GB поэтому не звучит как «у какой карты самый дешёвый гигабайт?». Вопрос звучит так: «Какая система оставляет достаточно доступной памяти, быстро читает мою нагрузку, работает с моим ПО и окупает цену регулярным использованием?»

Источники

Следующие шаги

Используйте таблицу с представительским промптом до покупки. Сравните время до первого токена, обработку промпта, скорость decode, использование памяти, питание и полную стоимость платформы. Для короткого проекта сначала арендуйте оборудование и сохраните измеренный результат вместе с решением о покупке.