Токен в переводе с английского означает «знак, символ; опознавательный знак, выражение». Оксфордский словарь английского языка дает токену определение: «Вещь, служащая видимым или осязаемым представлением факта, качества, чувства». В лексическом анализе и в информатике так называются последовательности символов; в прикладной (корпусной) лингвистике токен служит единицей морфологической разметки, представляя собой цепочку символов от пробела до пробела, которая в большинстве случаев соответствует обычной словоформе, хотя и не всегда несет в себе одинаковый, универсальный смысл.
