AT
Size: a a a
2020 May 13
A
Привет. Подскажите пожалуйста на каком принципе делаются парсеры для современных языков программирования, что они пытаются продолжать парсинг даже когда встретили некорректные последовательности, и стараются охватить как можно больше ошибок за раз. Ну и литературу которую в эту сторону читать. Например, на данном скриншоте выведутся ошибки для let let let let, так и для невалидного.токена, хотя для простого парсера, парсинг должен был остановиться на этапе с let let let let, и вывелась ошибка бы только для этого, а невалидный.токен пропущен.
Общие принципы - как уже сказали в Драконе. На практике - можно покурить обработку ошибок в bison и попытаться сделать самому. Это проще чем кажется. Как это транслируется в другие парсеры - не знаю. В целом (один из вариантов) можно просто выделить продукцию, которая является выражением и при встрече ошибки в ней игнорировать символы вплоть до идентификатора конца выражения. Потом продолжить "как ни в чём не бывало"
IK
В ANTLR тоже есть как встроенная, так и кастомная обработка ошибок. Во встроенной есть несколько типов: отсутствующий и лишние токены, неправильная цепочка токенов (до синхронизирующего), и самый общий - отсутствующая альтернатива.
is
Окей, тогда гляну книгу Дракона
is
В ANTLR тоже есть как встроенная, так и кастомная обработка ошибок. Во встроенной есть несколько типов: отсутствующий и лишние токены, неправильная цепочка токенов (до синхронизирующего), и самый общий - отсутствующая альтернатива.
А синхронизирующий токен - это, например, закрывающая скобка или точка с запятой?
PS
Окей, тогда гляну книгу Дракона
Минуточку, Вас интересовало современное положение дел или вводная информация? Если последнее — то еще проще посмотреть у Вирта.
IK
А синхронизирующий токен - это, например, закрывающая скобка или точка с запятой?
Да - ANTLR сам его определяет, как замыкающий токен альтернативы.
is
Минуточку, Вас интересовало современное положение дел или вводная информация? Если последнее — то еще проще посмотреть у Вирта.
Ну вводную я знаю по идее: формальные грамматики, разбиение на токены, построение AST и потом его обработка, вот как раз сейчас этим в миниатюре занимаюсь. Так что, видимо, интересует современное положение дел
PS
Ну вводную я знаю по идее: формальные грамматики, разбиение на токены, построение AST и потом его обработка, вот как раз сейчас этим в миниатюре занимаюсь. Так что, видимо, интересует современное положение дел
Современное — это вопросы восстановления после ошибок в парсерах комбинаторов, в PEG, в GLR-парсерах, в том же ANTLR. В PEG, например, специально вводят нетерминалы-альтернативы для восстановления. В результате получается многословно, но более гибко, чем в ANTLR.
is
То есть в момент когда я получаю AST, мне нужно предусмотреть в нём ошибочное состояние, и расширить грамматику PEG до условно такого:
S <- '{' Expr '}' / '{' AnythingExceptBrace '}'
?is
Современное — это вопросы восстановления после ошибок в парсерах комбинаторов, в PEG, в GLR-парсерах, в том же ANTLR. В PEG, например, специально вводят нетерминалы-альтернативы для восстановления. В результате получается многословно, но более гибко, чем в ANTLR.
За термин "восстановление" спасибо, похоже гугл по этому выдаёт релевантные результаты
Ага, действительно, по этому запросу даже статья на википедии есть 🤦♂️
Ага, действительно, по этому запросу даже статья на википедии есть 🤦♂️
PS
То есть в момент когда я получаю AST, мне нужно предусмотреть в нём ошибочное состояние, и расширить грамматику PEG до условно такого:
S <- '{' Expr '}' / '{' AnythingExceptBrace '}'
?Да, и в AnythingExceptBrace должно быть сообщение об очередной ошибке. Только надо учитывать, что это будет работать в PEG, но не в каком-нибудь yacc/bison.
EM
"современное состояние дел" и книга дракона несовместимые понятия
EM
вброшу ещё в качестве троллинга — давайте запретим в чате предлагать книгу дракона :)
или давайте хотя бы бота добавим, который на любой вопрос в чате будет кидать ссылку на книгу дракона
или давайте хотя бы бота добавим, который на любой вопрос в чате будет кидать ссылку на книгу дракона
PS
Evgenii Moiseenko
вброшу ещё в качестве троллинга — давайте запретим в чате предлагать книгу дракона :)
или давайте хотя бы бота добавим, который на любой вопрос в чате будет кидать ссылку на книгу дракона
или давайте хотя бы бота добавим, который на любой вопрос в чате будет кидать ссылку на книгу дракона
Первые 2 дракона очень интересны по историческим причинам. Где еще прочитаешь разбор компилятора языка Bliss? А в последнем есть глава по Datalog. Так что Вы уж слишком категоричны! :)
is
Evgenii Moiseenko
"современное состояние дел" и книга дракона несовместимые понятия
окей, спасибо 👌
2020 May 14
G
Я правильно понимаю, что здесь речь о непроверяемых исключениях идёт?
Dv
А как проверяемость исключений поменяет эту картину?
G
А как проверяемость исключений поменяет эту картину?
Понадобиться добавить после
throws новое исключение по всей цепочкеDv
Понадобиться добавить после
throws новое исключение по всей цепочкеДа, ты понимаешь правильно.