Какую нейросеть потянет мой компьютер
Укажите объём памяти видеокарты — инструмент покажет, модель какого размера запустится локально, что она реально сможет и чего от неё ждать не стоит.
Ваше железо
Расчёт для моделей, сжатых до 4 бит — это стандартный формат для домашнего запуска. В полной точности модель занимает примерно вчетверо больше.
Ваш максимум: модель на 12–14 млрд параметров
Заметный скачок качества русского языка и связности.
Что потянет
- +качественные тексты на русском
- +разбор документов
- +код среднего уровня
- +работа с таблицами
Чего ждать не стоит
- −уровень флагманских облачных моделей
- −очень длинные документы
Чтобы подняться до модели на 27–32 млрд параметров, нужно около 20 ГБ памяти — это 8.0 ГБ сверх вашего запаса.
| Размер модели | Нужно памяти | Для вас |
|---|---|---|
| 1–3 млрд | ~2.5 ГБ | Пойдёт |
| 7–8 млрд | ~5.5 ГБ | Пойдёт |
| 12–14 млрд | ~9 ГБ | Пойдёт |
| 27–32 млрд | ~20 ГБ | Не хватит памяти |
| 70 млрд и выше | ~45 ГБ | Не хватит памяти |
Чем запускать
- LM Studio — графический интерфейс, сам подсказывает, какие модели потянет ваш компьютер. Лучший старт.
- Ollama — запуск одной командой и локальный API для своих проектов.
- GPT4All — работает и без видеокарты, умеет отвечать по локальной папке с документами.
Как устанавливать, выбирать модель и что делать без видеокарты — в гайде по локальному запуску нейросетей.
Частые вопросы
+Почему главный параметр — видеопамять, а не процессор?
Модель должна поместиться в память видеокарты целиком. Если она не влезает, вычисления уходят на процессор, и скорость падает в десятки раз. Процессор и оперативная память важны только при запуске без видеокарты.
+Что такое квантизация и почему расчёт идёт для 4 бит?
Квантизация снижает точность чисел в весах модели: файл уменьшается в два-четыре раза, скорость растёт, качество проседает незначительно. Сжатие до 4 бит — стандартный компромисс для домашнего запуска, поэтому расчёт ведётся по нему.
+Чем Mac отличается от обычного компьютера?
У компьютеров Apple память единая: видеоядро использует ту же память, что и процессор. Поэтому машина с 32 ГБ тянет модели, для которых на ПК нужна дорогая видеокарта. В расчёте учитывается, что часть памяти занята системой.
+Лучше большая сжатая модель или маленькая в полном качестве?
Почти всегда большая сжатая. Модель на 14 млрд параметров в 4-битном формате обычно заметно сильнее, чем модель на 7 млрд в полной точности, и занимает столько же памяти.