Видеопамять (VRAM)
Память видеокарты — главный ограничитель при локальном запуске моделей.
Модель должна целиком поместиться в видеопамять, иначе она будет работать на процессоре и очень медленно. Ориентиры: 8 ГБ хватает для моделей на 7–8 млрд параметров в квантизованном виде, 24 ГБ — для моделей на 30 млрд, для по-настоящему больших нужны профессиональные карты.
Связанные термины
Хотите не только понять термин, но и выбрать инструмент? Откройте каталог нейросетей с фильтрами по доступу и цене.