Токен (в языковых моделях)

Токен в языковых моделях - это наименьшая единица текста, на которую модель разбивает входные и выходные данные для обработки. Это может быть слово, часть слова, символ или пунктуационный знак, в зависимости от используемого алгоритма токенизации.