Какие модели ИИ работают на Raspberry Pi 4 или 5?
Table of Contents
Raspberry Pi способен локально запускать полезную языковую модель, но она должна помещаться в память платы, а время ответа должно подходить вашему приложению. Raspberry Pi 4 с 2 ГБ лучше всего подходит для моделей менее чем с миллиардом параметров. Raspberry Pi 5 с 8 ГБ комфортно запускает компактные модели 1B–3B и загружает некоторые более крупные квантованные модели с существенными компромиссами.
Мы самостоятельно проверили эти модели через Ollama на Pi 4B с 2 ГБ и Pi 5 с 8 ГБ, оба использовали карты microSD. В запусках для таблиц применялись одни и те же пять коротких запросов к ассистенту, системный промпт, фиксированный seed и ограничение вывода в 140 токенов. Перед каждым запуском мы выгружали остальные модели и измеряли холодную загрузку, время до первого видимого токена, полное время ответа, скорость вывода и пиковую резидентную память. Это были однопроходные тесты коротких ответов. Результаты показывают примерные требования к ресурсам, а не универсальные рейтинги скорости или качества. Процессор Cortex-A76 и доступные конфигурации памяти Pi 5 также заметно отличаются от платформы Cortex-A72 в Pi 4 .
Какие типы моделей подходят
| Тип модели | Примеры из измерений | Практическое применение |
|---|---|---|
| Небольшие текстовые модели, около 230M–600M параметров | LFM2.5-230M, LFM2.5-350M, Qwen2.5-0.5B | Короткие локальные команды, сводки и ответы на вопросы с ограничениями; лучший старт для Pi 4 с 2 ГБ |
| Компактные текстовые модели, около 1B–2B | LFM2.5-1.2B, Qwen2.5-1.5B, Gemma 3 1B, MiniCPM5-1B | Более точное следование инструкциям на Pi 5 или Pi 4 с большим объёмом памяти, но ответы медленнее, чем у самых маленьких моделей |
| Квантованные текстовые модели 3B–4B | Qwen2.5-3B, Llama 3.2 3B, Gemma 3 4B | Более ёмкие варианты для Pi 5 с 8 ГБ, если приемлемо ждать несколько секунд на ответ |
| Крупные разреженные или гибридные модели | LFM2.5 8B | Технически запускается на проверенном Pi 5 с 8 ГБ, но требует много памяти и долго загружается |
Это результаты для генерации текста. Они ничего не говорят о генерации изображений, распознавании речи, зрении или обучении. «Запускается» означает больше, чем наличие места для файла модели: среде выполнения, кэшу контекста, операционной системе и другим службам также нужна RAM. Квантование уменьшает файл весов, но способно ухудшить ответы, особенно при экстремальных настройках вроде 1-битных весов.
Что измеряли результаты
В тесте Ollama получала короткие запросы о фактах, процедурах безопасности, контексте из поиска, погоде и помощи. Каждая модель получила один и тот же набор запросов и seed. Перед замером модель выгружалась, поэтому следующий запрос включал холодную загрузку. Указанное полное время охватывает весь запрос, а токены в секунду описывают только генерацию вывода. Мы также измеряли первый видимый токен, что важно, если модель сначала рассуждает.
Для оценки памяти мы во время каждого запроса отслеживали свободную RAM и swap Pi, а также резидентную память Ollama и процесса инференса. Значения RSS показывают память, занятую процессом, а не всю потребность системы. Файловые страницы, ОС, браузер или другая локальная служба всё ещё могут вызвать swap у модели, которая формально помещается. В таблицах приведены исходные однопроходные тесты с пятью запросами. Позже мы добавили в тестовый стенд запрос о новостях и проверки правил ответа. Эти проверки помогают оценивать результат, но не превращают прежние замеры скорости в тест соответствия для шести запросов.
Ни токены в секунду, ни число параметров не являются показателем качества. Модель может быстро вывести текст и при этом не указать источник, превысить ограничение по словам или оборвать предложение. Сравнивайте модели на тех запросах, которые планируете отправлять, и читайте ответы перед выбором для приложения.
Raspberry Pi 4: выбирайте самые маленькие модели
У проверенного Pi 4 с 2 ГБ было мало свободной памяти. Самые маленькие модели LFM2.5 обработали все пять запросов, как и qwen2.5:0.5b. Они подходят для коротких ответов офлайн или небольшого локального ассистента.
| Модель | Файл модели | Измеренная скорость вывода | Среднее время ответа | Память или результат |
|---|---|---|---|---|
| LFM2.5-230M, импортированный GGUF | 0.25 GB | 12.8 токенов/с | 7.2 с | Пиковая резидентная память 383 MB; 5/5 запросов |
| LFM2.5-350M, импортированный GGUF | 0.38 GB | 8.6 токенов/с | 8.6 с | Пиковая резидентная память 516 MB; 5/5 запросов |
qwen2.5:0.5b |
0.40 GB | 8.0 токенов/с | 9.7 с | 5/5 запросов; доступна непосредственно в Ollama |
| MiniCPM5-1B, импортированный GGUF, рассуждение выключено | 0.69 GB | 5.9 токенов/с | 12.2 с | Пиковая резидентная память 883 MB; 5/5 запросов |
| MiniCPM5-1B, импортированный GGUF, рассуждение по умолчанию | 0.69 GB | 5.7 токенов/с | 33.3 с | Только на 1/5 запросов получен полезный видимый ответ |
qwen3:0.6b, рассуждение по умолчанию |
0.52 GB | 6.4 токенов/с | 40.4 с | Один пустой ответ; плата перезагрузилась |
granite4:350m |
0.71 GB | 4.6 токенов/с | 15.5 с | 913 MB RSS, без swap и перезагрузки; медленная, но стабильная |
gemma3:1b |
0.82 GB | 4.0 токенов/с | 30.7 с | Сильная нагрузка на swap; плата перезагрузилась во время теста |
qwen3.5:0.8b |
1.04 GB | — | — | Тест не завершился; плата перезагрузилась |
Результаты Pi 4 особенно зависят от остальной нагрузки. Во время проверок более крупных моделей плата перезагружалась, в том числе во время незавершённого запуска qwen3.5:0.8b. Это результат нашей конфигурации с 2 ГБ, а не утверждение, что любая Pi 4 или любая модель 1B вызовет перезагрузку. У Pi 4 с 4 или 8 ГБ больше памяти, но процессор всё равно будет медленнее проверенного Pi 5. Эти варианты Pi 4 мы отдельно не тестировали.
Один ранний запуск Pi 4 также выглядел намного хуже окончательных измерений: около 625 MB файлов GGUF находились в RAM-каталоге /tmp, оставляя лишь 500–600 MB свободной памяти и отправляя сотни мегабайт в swap. После переноса файлов на постоянное хранилище результаты небольших моделей лучше показали потребление памяти при инференсе. На плате с 2 ГБ даже место загрузки файла может исказить тест.
Рекомендация: для платы с 2 ГБ мы выбираем импортированную LFM2.5-350M по умолчанию. Она оставалась стабильной при 516 MB RSS, оставляла около 1 GB RAM и прошла 5/6 проверок правил ответа в тесте Pi 4. В повторных тестах Pi 5 она иногда не называла источник, поэтому приложение должно проверять атрибуцию, если она обязательна. Выбирайте LFM2.5-230M, если важнее минимальные задержка и потребление памяти: она быстрее и легче, но в одном ответе о здоровье модель исказила «тошнота или рвота» как «тошнота/использование вентилятора». Эта ошибка делает её менее подходящим вариантом для ответов о безопасности или здоровье, несмотря на более высокий повторный показатель механических проверок. Выбирайте qwen2.5:0.5b, если нужна модель из
реестра Ollama
, учитывая более слабое следование инструкциям. granite4:350m работала стабильно, но дольше и с большим потреблением памяти. MiniCPM5-1B подходит только при выключенном рассуждении в клиенте. Избегайте Gemma 3 1B и Qwen3.5 0.8B именно на этой конфигурации с 2 ГБ, поскольку наши тесты вызвали перезагрузки.
Raspberry Pi 5: больше вариантов, но есть компромисс по скорости
Pi 5 с 8 ГБ обработала все 25 моделей в тесте скорости и памяти. Таблица включает каждый запуск, в том числе модели, которые мы не рекомендуем для коротких ответов. Знак † означает импортированный GGUF. Пометка «рассуждение выключено» описывает настройку теста скорости; отдельная проверка ответа могла использовать другую настройку.
| Модель | Файл, GB | Вывод, токенов/с | Ответ, с | Пиковый RSS, MB | Оценка для коротких ответов |
|---|---|---|---|---|---|
lfm2.5-230m † |
0.25 | 45.0 | 1.8 | 446 | Минимальная задержка; 78% соответствия в повторных тестах |
bonsai-1.7b †, Q1_0 |
0.25 | 15.3 | 8.2 | 871 | Не выбирать: 1-битные веса и 3/6 в однопроходной проверке |
lfm2.5-350m † |
0.38 | 30.0 | 2.1 | 581 | Быстрая, но не указала источник в 5 из 18 повторов |
qwen2.5:0.5b |
0.40 | 28.4 | 3.6 | 675 | Простая установка из реестра; 61% соответствия в повторных тестах |
qwen3:0.6b, рассуждение выключено |
0.52 | 23.0 | 4.3 | 1,069 | Условный вариант: 4/6, важна настройка рассуждения |
bonsai-4b †, Q1_0 |
0.57 | 6.8 | 18.1 | 1,343 | Экспериментальная 1-битная модель; результат 6/6 в одном тесте не подтверждён повторно |
minicpm5-1b †, рассуждение выключено |
0.69 | 18.4 | 5.1 | 869 | Условный вариант: рассуждение по умолчанию давало пустые ответы |
granite4:350m |
0.71 | 12.1 | 6.6 | 892 | Помещается, но медленнее и крупнее компактных LFM2.5 |
lfm2.5-1.2b † |
0.73 | 15.5 | 4.7 | 967 | Лучший для нашей нагрузки; 89% соответствия в повторных тестах |
llama3.2:1b-instruct-q4_K_M |
0.81 | 13.0 | 7.5 | 1,244 | Альтернатива из реестра; 5/6 в проверке |
gemma3:1b |
0.82 | 11.2 | 10.9 | 1,262 | Лучшее следование правилам среди моделей из реестра: 83% |
qwen2.5:1.5b-instruct-q4_K_M |
0.99 | 10.3 | 9.4 | 1,361 | 4/6; Gemma 3 1B лучше следовала правилам |
qwen3.5:0.8b, рассуждение выключено |
1.04 | 8.8 | 12.2 | 1,592 | 0/6 с рассуждением по умолчанию; избегайте без контроля этой настройки |
spark-x2.5-1.7b †, рассуждение выключено |
1.11 | 9.7 | 9.4 | 1,542 | 0/6 с рассуждением по умолчанию; избегайте без контроля этой настройки |
qwen3:1.7b, рассуждение выключено |
1.36 | 8.1 | 12.4 | 1,867 | Условный вариант; больше памяти и задержка, чем у компактных моделей |
minicpm5-2b †, рассуждение выключено |
1.56 | 7.7 | 10.9 | 1,787 | Условный вариант; 5/6 в одном тесте, лишние пункты списка |
qwen2.5:3b-instruct-q4_K_M |
1.93 | 5.2 | 14.7 | 2,366 | Вариант 3B для пробы; 5/6 в однопроходной проверке |
granite4:micro-h |
1.94 | 3.9 | 23.7 | 2,486 | Не подходит для интерактивного применения: медленная генерация |
llama3.2:3b-instruct-q4_K_M |
2.02 | 5.5 | 18.6 | 2,831 | Альтернатива 3B; проверка соответствия не опубликована |
granite4:micro |
2.10 | 5.3 | 17.9 | 2,679 | Помещается, но отвечает медленнее компактных вариантов |
qwen3.5:2b, рассуждение выключено |
2.74 | 5.0 | 16.1 | 3,627 | Большой расход памяти и задержка; проверка соответствия не опубликована |
gemma3:4b |
3.34 | 3.9 | 30.3 | 4,267 | Не подходит для быстрых ответов; 14.3 с до первого токена |
ling-3.0-tiny †, рассуждение выключено |
4.82 | 9.9 | 19.4 | 5,071 | Большая нагрузка на память; 5/6 в одном тесте с ошибкой привязки к контексту |
lfm2.5:8b, рассуждение выключено |
5.16 | 8.7 | 54.6 | 5,317 | Помещается с трудом; холодная загрузка 34.4 с, ответы слишком длинные |
gemma3n:e2b |
5.62 | 6.1 | 25.9 | 5,261 | Не выбирать: нагрузка на swap вместе с другими службами Pi |
† Импортированный GGUF. Время ответа и память измерены в тесте скорости на Pi 5 с пятью запросами; оценки соответствия получены в отдельных тестах с шестью запросами. Для моделей без оценки не подтверждено соблюдение правил ответа.
Компактные модели LFM2.5 оказались самыми быстрыми для этой нагрузки коротких ответов. Версия 1.2B даёт практичный баланс на проверенном Pi 5. Gemma 3 1B подходит как вариант только из реестра и в поздних тестах лучше Qwen2.5 1.5B следовала правилам ответа. Модель 3B может быть полезна для запросов, требующих большей ёмкости, но эти замеры не доказывают, какая модель отвечает лучше.
Задержки холодной загрузки и первого токена меняют впечатление от использования. На Pi 5 LFM2.5-230M загружалась примерно за 0.21 секунды и выдавала видимый токен через 0.37 секунды. Qwen2.5 1.5B требовалось 2.59 секунды на загрузку и 3.66 секунды до первого видимого токена. Для Qwen2.5 3B эти значения составляли 5.60 и 7.97 секунды. При редких вопросах такие задержки могут быть важнее скорости вывода после начала генерации. Постоянно загруженная модель реже испытывает задержку запуска, зато занимает память между запросами.
Другие проверенные модели показывают, почему нельзя ранжировать их только по числу параметров. С выключенным рассуждением qwen3:0.6b достигла на Pi 5 23.0 токенов/с при 1,069 MB RSS, а импортированная MiniCPM5-1B достигла 18.4 токенов/с при 869 MB RSS. Для granite4:350m требовалась загрузка размером 0.71 GB, скорость составила 12.1 токенов/с, несмотря на название 350M. Упаковка и архитектура модели влияют на связь между названием, размером файла, памятью и скоростью.
Если клиент надёжно отправляет think: false, Qwen3 0.6B и MiniCPM5-1B подходят для экспериментов в качестве альтернатив LFM2.5. MiniCPM5-2B, Qwen3 1.7B и Spark-X2.5 1.7B также запускались на Pi 5, но не дали явного преимущества по скорости и памяти перед основными вариантами. В тесте соответствия MiniCPM5-1B и Spark-X2.5 использовали рассуждение по умолчанию. Их пустые ответы нельзя выдавать за результат тестов скорости с отключённым рассуждением. И наоборот, быстрый запуск с отключённым рассуждением не доказывает, что мост без этого флага получит пригодный ответ.
Если простота установки важнее сырой скорости, Gemma 3 1B и Llama 3.2 1B подходят как модели из реестра для Pi 5 с 8 ГБ. Gemma 3 1B соблюдала проверенные правила в 15/18 повторных ответов. Llama 3.2 1B прошла 5/6 в одном запуске, поэтому оценка её соответствия менее надёжна. В тесте времени Qwen2.5 1.5B загружалась и отвечала быстрее Gemma 3 1B, но прошла лишь 4/6 проверок правил. Выбирайте модель по требованиям ваших запросов.
Для редких длинных или сложных текстовых запросов квантованные Qwen2.5 3B и Llama 3.2 3B подходят как варианты 3B с умеренным расходом памяти на нашем Pi 5 с 8 ГБ. Мы измерили скорость и память, а Qwen2.5 3B прошла 5/6 в одной проверке соответствия. Сопоставимая проверка для Llama 3.2 3B не опубликована. Большее число параметров служит основанием проверить их на задачах, где малые модели ошибаются, но не доказывает, что они лучше решили эти задачи. Granite 4 Micro и Micro-H, Qwen3.5 2B, Gemma 3 4B, Ling-3.0-tiny и Gemma 3n E2B помещались или загружались в тестах Pi 5, но для коротких ответов предлагали менее привлекательные задержки, запас памяти или надёжность.
Две модели Bonsai показывают цену экстремального квантования. Их файлы Q1_0 необычно малы для названий с 1.7B и 4B параметрами, но модель 1.7B прошла лишь 3/6 проверок правил ответа. Модель 4B прошла один тест с шестью запросами, но отвечала 18.1 секунды и не проходила повторную проверку соответствия. Считайте обе экспериментальными вариантами, а не рекомендациями по умолчанию, особенно если качество ответа важно.
Результат LFM2.5-8B требует пояснения: гибридная архитектура использует меньше активных параметров на токен, поэтому скорость декодирования превысила измерения плотных моделей 3B. Но холодная загрузка с microSD заняла 34.4 секунды, а резидентная память превысила 5.3 GB. Это пример того, что помещается на плате, а не удобный вариант по умолчанию для Pi с другими службами. Проверенная gemma3n:e2b также заняла около 5.3 GB резидентной памяти и вызвала swap параллельно с остальными службами тестового хоста.
Запуск LFM2.5-8B также достиг полного лимита в 140 токенов, вместо короткого ответа. Gemma 3 4B потребовалось 14.3 секунды до первого токена и 30.3 секунды на полный ответ. Обе модели загружаются на Pi 5, но в наших тестах не вели себя как отзывчивый компактный ассистент. Крошечная модель с подходящей длиной ответа может лучше подойти для радио или командного интерфейса, чем крупная модель с более высокой скоростью декодирования на бумаге.
Память, рассуждение и формат модели
По нашим измерениям, первоначальная оценка резидентной памяти для инференса равна размер файла модели × 1.4. Это лишь практическое правило: длина контекста, настройки среды выполнения, архитектура и другие процессы меняют потребность. Во время генерации проверяйте доступную память, на небольшом хосте держите загруженной одну модель и оставляйте запас для ОС. На плате с 4 ГБ разумно начать с небольших или компактных моделей, но рекомендации для 4 ГБ являются экстраполяцией, а не результатом прямых тестов на такой конфигурации.
Например, файл LFM2.5-1.2B размером 0.73 GB соответствовал примерно 967 MB RSS на Pi 5, тогда как файл Qwen2.5 1.5B размером 0.99 GB достиг 1,361 MB RSS. Для этих моделей правило работает приемлемо, но не задаёт жёсткий предел. Учитывайте больше памяти, чем использует сам процесс модели, если на Pi работают интерфейс, поисковый индекс, локальная библиотека или другие фоновые службы. Следите за swap во время реального запроса. Модель, которая формально загружается, но постоянно использует swap, не подходит для практической работы.
Некоторые модели создают внутренний блок рассуждений до видимого ответа. В наших тестах qwen3:0.6b на Pi 4 с 2 ГБ намного дольше выдавала видимый текст, а MiniCPM5-1B дала полезный ответ лишь на один из пяти запросов с настройкой рассуждения по умолчанию и на пять из пяти с выключенным рассуждением. Для короткого ответа укажите think: false в совместимом запросе к API Ollama или выберите модель, в которой рассуждение не включено по умолчанию. Эта настройка подходит поддерживаемым моделям и клиентам, но не служит универсальным переключателем скорости.
Различие важно, потому что ограничение токенов может учитывать токены рассуждения, хотя пользователь не видит ответа. На Pi 4 qwen3:0.6b с включённым по умолчанию рассуждением отвечала в среднем 40.4 секунды на запрос, а один раз вернула пустой видимый ответ. MiniCPM5-1B отвечала в среднем 33.3 секунды с исходной настройкой и 12.2 секунды с выключенным рассуждением. В запусках Pi 5 мы отключали рассуждение для Qwen3, Qwen3.5, MiniCPM5, Ling-3.0 и Spark-X2.5 там, где это зафиксировано в журнале. Сравнивайте модель с той же настройкой рассуждения, которую будет использовать клиент.
Проверка пригодности ответа
Для коротких ответов сетевого ассистента договор о формате не менее важен, чем скорость: не более 90 слов, максимум три пункта списка, обычный текст, законченное предложение и использование предоставленного контекста поиска с указанием источника. Мост делит текст на фрагменты по 180 символов. Длинный ответ занимает больше радиоэфира, даже если модель быстро его создала.
Поздняя версия нашего теста проверяет пустые ответы, зависящий от запроса лимит слов, слишком длинный список, таблицы Markdown или блоки кода, незавершённую концовку, отсутствие терминов из контекста и имени источника. При оценке по системному промпту используемого ассистента небольшие модели регулярно нарушали эти правила. Самыми серьёзными ошибками были пустые ответы, когда рассуждение расходовало лимит токенов, затем ответы, игнорировавшие найденный контекст или не называвшие источник. Превышение лимита слов или числа пунктов всё ещё давало видимый текст, но расходовало радиоэфир. Это механические проверки, а не замена чтению ответа. Они не доказывают фактическую точность или качество советов по безопасности.
Повторные результаты соответствия на Pi 5
Сначала мы один раз отправили каждой модели шесть запросов с лимитом 220 токенов и системным промптом развёрнутого ассистента. Модели, показавшиеся перспективными, тестировали ещё дважды с другим seed, всего 18 ответов на модель. Успешный однократный тест не гарантировал успеха при повторе. Приведённые ниже повторные результаты точнее сравнивают проверенные короткие ответы для сетевого ассистента:
| Модель | Ответы, соблюдавшие все проверенные правила | Основные замеченные ошибки |
|---|---|---|
| Импортированная LFM2.5-1.2B | 16/18 (89%) | Два незавершённых ответа |
gemma3:1b |
15/18 (83%) | Три незавершённых ответа |
| Импортированная LFM2.5-230M | 14/18 (78%) | Незавершённые ответы и пропущенные имена источников |
| Импортированная LFM2.5-350M | 13/18 (72%) | Не указаны имена источников |
qwen2.5:0.5b |
11/18 (61%) | Слишком много пунктов и слов, не указаны источники |
На Pi 4 с 2 ГБ отдельная проверка шести запросов показала 5/6 у LFM2.5-350M, 4/6 у LFM2.5-230M и 2/6 у Qwen2.5-0.5B. MiniCPM5-1B улучшила результат с 1/6 при рассуждении по умолчанию до 5/6 с выключенным рассуждением. Результаты Pi 4 получены в одном тесте. Поэтому для оценки общего следования инструкциям мы больше полагаемся на повторные тесты Pi 5, а результаты Pi 4 используем для оценки стабильности и скорости на этой плате.
У ошибок разные последствия. Пустой ответ бесполезен, а игнорирование предоставленных данных может ввести в заблуждение. Без имени источника читателю сложнее проверить атрибуцию. Лишние пункты или слова в основном занимают дополнительные пакеты по 180 символов. Незавершённое предложение может означать обрезание ответа. Ошибка LFM2.5-230M с медицинским термином напоминает, что модель способна пройти механические проверки и всё равно ошибиться. Ни одна из пяти моделей, проверенных повторно, не соблюдала все правила во всех 18 ответах. Если приложению нужны строгие ограничения длины или формата, проверяйте и исправляйте ответ после генерации, а содержание с высокими ставками оценивайте отдельно.
Мы также проверили настоящий адрес моста, совместимый с OpenAI endpoint Ollama /v1/chat/completions, с найденным контекстом WikiMed. На Pi 5 LFM2.5-1.2B вернула ответ из 28 слов, использовав шесть предоставленных терминов. Qwen2.5-0.5B вернула 38 слов с семью терминами. Оба ответа помещались в два пакета по 180 символов. Эта проверка подтверждает, что импортированная модель LFM2.5 работает через путь запросов моста. Один успешный ответ не гарантирует надёжность.
Ollama публикует множество готовых моделей, включая
варианты Qwen2.5 на 0.5B, 1.5B и 3B
. Небольшие модели LFM2.5 мы импортировали в Ollama из
выпусков GGUF от Liquid AI
. Перед загрузкой проверяйте точный тег или имя файла GGUF: реестры и репозитории меняются. Храните загрузки GGUF на постоянном диске. В наших тестах RAM-каталог /tmp расходовал дефицитную память Pi 4.
Теги реестра и импорт GGUF
Тег Ollama позволяет быстрее всего начать тест: загрузите точный тег и запустите его. Маленькие модели LFM2.5 из таблиц были импортами GGUF, а не тегами lfm2.5-230m, lfm2.5-350m или lfm2.5-1.2b в открытой библиотеке Ollama. GGUF является форматом файла модели. Имена вроде Q8_0 и Q4_K_M обозначают варианты квантования. Использованные файлы LFM2.5 на 230M и 350M имели формат Q8_0, а файл 1.2B был Q4_K_M. Поэтому то же число параметров при другом квантовании не гарантирует прежний размер файла, расход памяти или качество.
Чтобы импортировать проверенный вариант 350M, загрузите GGUF в каталог на постоянном хранилище, создайте Modelfile с путём к нему и позвольте Ollama скопировать файл в хранилище моделей:
mkdir -p "$HOME/gguf"
cd "$HOME/gguf"
curl -fL -C - --retry 5 --retry-all-errors -O \
https://huggingface.co/LiquidAI/LFM2.5-350M-GGUF/resolve/main/LFM2.5-350M-Q8_0.gguf
printf 'FROM %s/LFM2.5-350M-Q8_0.gguf\n' "$PWD" > Modelfile-lfm2.5-350m
ollama create lfm2.5-350m -f Modelfile-lfm2.5-350m
ollama run lfm2.5-350m
Для импорта временно нужно место и для скачанного файла, и для его копии в хранилище Ollama. Мы использовали возобновляемые загрузки, поскольку длительная передача GGUF иногда прерывалась. Перед импортом сравните SHA-256 загруженного файла с опубликованной поставщиком контрольной суммой. Иначе неполная передача может выглядеть как ошибка модели. В нашей конфигурации Pi каталог /tmp находился в RAM, поэтому хранение там GGUF уменьшало память для инференса.
Практичный старт
| Оборудование и цель | Первая модель для проверки | Причина |
|---|---|---|
| Pi 4 с 2 ГБ, вариант по умолчанию | Импортированная LFM2.5-350M | Стабильна при 516 MB RSS и примерно 1 GB свободной памяти; выбрана после ошибки с медицинским термином у 230M |
| Pi 4 с 2 ГБ, минимальная задержка | Импортированная LFM2.5-230M | 383 MB RSS и средний ответ за 7.2 с; тщательно проверяйте содержание, особенно в вопросах здоровья и безопасности |
| Pi 4 с 2 ГБ, только модели из реестра | qwen2.5:0.5b |
Загружается прямо из Ollama и стабильно работала в нашем тесте Pi 4 с пятью запросами; 61% соответствия в повторных тестах Pi 5 |
| Pi 4 с 4 ГБ или Pi 5 | Импортированная LFM2.5-1.2B, затем локальная проверка | 967 MB RSS и 89% повторного соответствия на Pi 5 с 8 ГБ; варианты на 4 ГБ мы напрямую не тестировали |
| Pi 5 с 8 ГБ, отзывчивый ассистент | Импортированная LFM2.5-1.2B | 15.5 токенов/с, полный ответ за 4.7 с и наивысшее повторное соответствие среди проверенных |
| Pi 5 с 8 ГБ, установка только из реестра | gemma3:1b |
11.2 токенов/с, 1,262 MB RSS и 83% повторного соответствия |
| Pi 5 с 8 ГБ, испытание более крупной текстовой модели | Квантованная Qwen2.5 3B или Llama 3.2 3B | Обе работали примерно на 5 токенах/с и использовали 2.4–2.8 GB RSS; Qwen2.5 3B прошла 5/6 в одной проверке |
Эти варианты рассчитаны на короткие полезные ответы, пока Pi может выполнять и другие службы. Это отправные точки, а не утверждение, что одна модель лучше для каждой задачи. В однопроходной проверке Pi 5 модели qwen3.5:0.8b и Spark-X2.5 с рассуждением по умолчанию не дали ответов, соответствовавших правилам. MiniCPM5-1B набрала 1/6. Если клиент не умеет выключать рассуждение, избегайте этих моделей для коротких ответов. Проверяйте выбранную модель с реальным промптом, контекстом, параллельностью и лимитом ответа.
Для модели из реестра после установки Ollama для Linux выполните:
ollama pull qwen2.5:0.5b
ollama run qwen2.5:0.5b
Проверьте собственные запросы, желаемую длину ответа и работу остальных служб. Записывайте полное время ответа и расход памяти. Эти показатели лучше числа параметров показывают, подходит ли модель для вашей Pi.
Во время тестов на узле с ограниченной памятью следите за swap. Если крупная модель делает плату неотзывчивой, выберите меньшую и задайте для службы Ollama подходящий предел памяти, чтобы чрезмерно крупная загрузка завершилась до исчерпания памяти хоста. Ограничение службы служит защитой, а не способом вместить слишком крупную модель. Перезагрузки Pi 4 в наших тестах показывают, почему при выборе важны отзывчивость и запас памяти наряду с токенами в секунду.
Как превратить тест в решение о развёртывании
Перед ежедневным использованием модели запишите четыре ограничения: максимальное время ответа, максимальную резидентную память, формат ответа и поведение при ошибке. Проверьте их вместе со службами, которые будут работать на той же плате. Модель, проходящая тест отдельно, но вызывающая swap рядом с радиомостом или панелью управления, не отвечает требованиям развёртывания.
Установите небольшую резервную модель. Переключайтесь на неё, если основная модель превышает лимит памяти, возвращает пустой ответ или нарушает требования к формату. Для каждого сравнения записывайте тег модели, квантование, версию Ollama, промпт, длину контекста и seed. Тогда обновление модели не будет выглядеть как улучшение оборудования.