Да не за что, всякое бывает

блин, а если мне нужно вернуться на один токен назад? откуда мне его взять? откуда мне знать где его начало хотя бы?

я чего то не догоняю

Апрель, 2021 год!

Все давно уже AST делают!

Да, надо, но это сложная инженерная задача, затрагивающая всю систему разработки целиком.

То есть, при настройке диалога человека и компилятора по оптимизации неизбежно затрагиваются:

VCS
Editor
Profiler
AOT Compiler

Скорее всего сюда добавятся Debugger, JIT.

Если это делать на mainstream языках, то придётся думать об эволюции окружающих программных систем. А этого, кмк, делают не только лишь все, мало кто это делает.

Соответственно, этот диалог нужно делать не на С/С++, а на "модельных" языках.

но для того чтобы сделать аст нужно токены считать

Ну так считайте

Если вам выкатят модуль на 1 млн строк - бейте по рукам, нельзя так в 21 веке программировать

не понимаю, если список токенов нигде не хранится, как мне узнать какой предыдущий токен

Никак, храните список, не слушайте использующих peek()

А лучше массив

я сейчас в массиве храню

А, кстати, после построения AST оно уже и не нужно будет

ну да)

А если вы LR(1)-парсер используете, так у него бектрека нет вообще в принципе

у меня помесь PEGа и рекурсивного спуска

Рекомендую LR, с приоритетами правил

у меня вместо этого есть переключение между разными наборами лексических, грамматических и семантических правил.

любой токен может дать указание лексеру/парсеру сменить действующий набор правил

а эти наборы можно комбинировать подобно операциям над множествами

А что не так с рамдой?

Ещё полностью передрали с хаскелля, но оптимизатор из хаскелля не передрали, и мне всё время кажется, что в рамде получилось медленно и overengineered. В хаскелле оно норм.