Главная / Словарь / Что такое токены в нейросети

Что такое токены в нейросети

Токен - это кусок текста, которым оперирует нейросеть: примерно слово или часть слова. Модель не видит букв и не видит предложений, она работает с последовательностью токенов. В токенах измеряется и объём контекста, и стоимость запроса, поэтому для практики это самая важная единица.

Сколько текста в одном токене?

Для английского примерно четыре символа, для русского меньше: наш текст разбивается мельче, и один и тот же смысл стоит примерно вдвое больше токенов. При расчёте бюджета на автоматизацию это надо учитывать сразу, иначе прикидка по английским тарифам занизит расходы вдвое.

Почему кончаются токены?

У каждой модели ограничена длина контекста - сколько токенов она может держать перед глазами за один запрос. Туда входит всё: системная инструкция, история диалога, приложенные документы и сам ответ. Когда лимит достигнут, старое вытесняется, и модель перестаёт помнить начало разговора.

Как сократить расход токенов?

Не отправлять модели то, что можно отфильтровать обычным кодом. В разборе входящих писем половина объёма - автоответы и возвраты серверов, и отсеивать их надо до вызова модели, по заголовкам. Второй приём - не класть в промпт всю базу знаний, а искать по ней и передавать только найденный фрагмент.