Утверждение, предложение, выражение и только они, остальные варианты подходят с натяжкой и годятся только в узких случаях, оправданных контекстом.

А как обычно реализуется режим паники у лексического анализатора?

ну и как при таком подходе синтаксический анализатор узнает о том, что строка кончилась?

вместо токена null или empty токен?

Пропуск символа?

Пропускать по одному символу и продолжать сравнивать с шаблонами?

Да.

> А как обычно реализуется режим паники у лексического анализатора?

При таком способе взаимодействия — возвращается либо ошибка, либо error token (главное тут — не забыть при этом хоть что-то прочитать из исходного текста).
Что уж с этим делает parser — автору виднее (некоторые просто завершают работу, например).
Другие "выбрасывают" такие tokens, или вводят error token в свои грамматики (и тогда это не "паника", в общем-то).

тут ещё кто-то должен сказать синтаксическому анализатору чтоб он следующий токен не запрашивал т.к. например, лексический анализатор нашел ошибку

Именно синтаксический анализатор может делать какие-либо предположения о структуре конструкции. Лексический анализатор никакой инициативой не обладает.

Опять же не однозначность 😬

Чтобы поддерживать ввод без пробелов (как на первой строке) убрал разделения на слова в регулярных выражениях.

Это привело к тому, что лексический анализатор может разобрать любую последовательность, распознав их либо как число, либо как идентификатор (либо вообще как ключевое слово, если оно совпадает)

Хмм... с виду, тут всё правильно лексически — где неоднозначность?

Все таки все на откуп синтаксическому анализатору?:)

При таком подходе — да. Т.е. именно parser "управляет" разбором, а lexer сам ничего не решает.

Тогда уж operator лучше переводить как операция

оператор - это инструмент, грубо говоря действующее лицо, операция - это само действие которое он осуществляет, к сожалению кривое словообразование англосаксов и последующие заимствования приводят к тому что "оператор выполняет операцию" это допустимое предложение.

Не делайте так. Лучше утверждение/выражение/предложение, более того как раз русское "предложение" пускай в несколько забытом смысле как раз тождественно по смыслу statement, но современнее "утверждение".

А ещё statement можно переводить как "выражение".
Крч, переводы стейтмента сосут.

Такой вопрос, а есть какие то грамматики гарантирующие отсутствия неоднозначности? На которых можно писать языки программирования, к примеру мейнтсримовые

Я решил писать в курсе у себя statement, потому как это меньшее из зол.

Ты можешь доказать для конкретной грамматики, что у нее нет неоднозначности. Даже на условном coq, думаю.