Язык программирования на Python. Написание лексера для токенизаций входной строки.

Лексер - это программа, которая получает на вход любую строку, а затем преобразует ее в лексемы. Лексемы - это часть токенов, которые являются кусками исходной строки. Токен - это класс, имеющий информацию о типе токена, лексеме, линий и столбца лексемы. Лексер посимвольно с начала до конца исходной строки начинает читать символы и на основе этих символов генерирует токены