Что такое токены в нейросети?

С технической стороны токен - минимальная единица, с которой работает языковая модель: часть слова, целое слово или знак препинания, в зависимости от того, как устроен токенизатор конкретной нейросети. Перед обработкой любой текст сначала разбивается на такие кусочки, переводится в числа, и уже с числами модель и работает внутри себя. Важно: у русского языка токенов на одно и то же количество слов обычно получается больше, чем у английского, из-за приставок, окончаний и падежей - это одна из причин, почему лимиты на русском языке ощущаются как более жёсткие. Стоимость запросов к платным API почти всегда считается именно в токенах, а не в символах или словах.

Разложу по терминам:

Модель читает и пишет не буквами, а именно такими кусочками.

Токен - это кусок текста, на который модель режет ваш запрос перед обработкой, и это не всегда целое слово. Иногда слово - это один токен, иногда два-три, особенно если слово редкое или составное. Пример: фраза «привет как дела» превращается примерно в 4-5 токенов, а не в 3 слова. Английский текст обычно бьётся экономнее, русский - чуть прожорливее из-за окончаний и падежей. Когда сервис пишет «осталось 1000 токенов», это значит примерно 700-800 русских слов на весь диалог, включая и вопрос, и ответ модели. Чем длиннее переписка, тем быстрее лимит тает, потому что модель каждый раз «перечитывает» всю историю заново.

я тоже сначала не поняла, потом посчитала - у меня на один длинный ответ уходит токенов как на полторы страницы текста