Токен
Кусочек текста, которым модель оперирует вместо букв и слов.
Модель работает не с буквами и не со словами, а с токенами — фрагментами длиной примерно в 3–4 символа. В русском языке токенов на один и тот же текст уходит больше, чем в английском, поэтому запросы на русском обходятся дороже. По токенам считаются лимиты контекста и стоимость API.
Связанные термины
Хотите не только понять термин, но и выбрать инструмент? Откройте каталог нейросетей с фильтрами по доступу и цене.