PS
Когда токенов нет, это значит, что "токеном" является каждый символ текста. В большинстве случаев в этом нет смысла (за исключением какого-нибудь Markdown).
Если взять более менее сложный язык, то там скорее всего встретятся подобные штуки:
Возможно в большинстве случаев фазу лексинга можно заинлайнить прямо в парсер, но от этого токены же не исчезнут.
Если взять более менее сложный язык, то там скорее всего встретятся подобные штуки:
ruleЕсли при парсинге rule сфейлились на subrule, то по крайней мере не надо перевычислять токен A, когда попадаем во вторую альтернативу.
: subrule
| A B
;
subrule
: A C
;
Возможно в большинстве случаев фазу лексинга можно заинлайнить прямо в парсер, но от этого токены же не исчезнут.
Проблема в том, что каждый говорит о своем :) Например, со стороны может быть неясно, почему нам надо что-то перевычислять, если у нас, как выше говорилось, LR(k) парсер, который работает за O(n) ;)