Квантизация
Сжатие модели за счёт снижения точности чисел, чтобы она поместилась в память.
Квантизация переводит веса модели из формата высокой точности в более компактный. Модель занимает в 2–4 раза меньше памяти и работает быстрее, теряя немного качества. Именно благодаря квантизации крупные модели запускаются на домашних видеокартах.
Связанные термины
Хотите не только понять термин, но и выбрать инструмент? Откройте каталог нейросетей с фильтрами по доступу и цене.