Инференс
Работа обученной модели на запросе пользователя.
Инференс — это применение модели, в отличие от обучения. Основные метрики инференса: время до первого токена, скорость генерации и стоимость. Именно на инференс приходится большая часть эксплуатационных расходов ИИ-сервисов.
Связанные термины
Хотите не только понять термин, но и выбрать инструмент? Откройте каталог нейросетей с фильтрами по доступу и цене.