АК
Спасибо
Size: a a a
2020 June 20
А
Спасибо
парсер языка над алфавитом символов проще представить как композицию парсеров - один преобразует поток символов в поток лексем, а второй работает с алфавитом лексем. а как они это делают - уже детали.
АК
Да, я понял что лексер это преобразователь из алфавита в алфавит
K
Да, я понял что лексер это преобразователь из алфавита в алфавит
Из UTF-8 в поток слов-токенов
PS
Традиционно для лексера использовались регулярные выражения, а для парсеров - кс грамматики. но для лексера тоже можно использовать кс-грамматику, в antlr так и делается.
Именно. И ведь можно также расширить нотацию КС-грамматик конструкциями регулярных выражений. Тогда можно будет вовсе забыть и о лексерах, и регулярных выражениях, как таковых. Эта «свежая» мысль приходила в голову еще разработчикам начала 60-х :)
А
Именно. И ведь можно также расширить нотацию КС-грамматик конструкциями регулярных выражений. Тогда можно будет вовсе забыть и о лексерах, и регулярных выражениях, как таковых. Эта «свежая» мысль приходила в голову еще разработчикам начала 60-х :)
но тогда приходилось больше думать о производительности, чем о сложности разработки. и это накладывало ограничения на языки.
ВМ
Зачем нужен лексер и в каких случаях без него не обойтись?
Если парсить парсер комбинаторами и вообще рекурсивным спуском — можно обойтись и без лексера
K
Да, тогда серьёзно раздумывали над тем, как сделать однопроходовый компилятор вместо много проходовгого - отсюда и forward declarations в C и Паскале.
K
Если парсить парсер комбинаторами и вообще рекурсивным спуском — можно обойтись и без лексера
Не рекомендую. Искать, в каком из парсеров потерялся проблел - такое себе. Уж лучше тогда и лексер руками написать. А уже на выходе лексера делать рекурсивный спуск.
АК
https://ps-group.github.io/compilers/ast
Если есть
Если есть
Восходящий разбор методом свёртки то есть и нисходящий?K
https://ps-group.github.io/compilers/ast
Если есть
Если есть
Восходящий разбор методом свёртки то есть и нисходящий?LL - это нисходящий, [G]LR и LALR - восходящие, насколько я помню
АК
Вот, а там написано
Восходящий разбор методом свёртки(LL,..M
Вот кстати интерестное предложение заменить регулярные выражения на ABNF правила:
https://www.sitepoint.com/alternative-to-regular-expressions
https://www.sitepoint.com/alternative-to-regular-expressions
ВМ
MaxGraey
Вот кстати интерестное предложение заменить регулярные выражения на ABNF правила:
https://www.sitepoint.com/alternative-to-regular-expressions
https://www.sitepoint.com/alternative-to-regular-expressions
у триситтера примерно такую же идею можно заюзать https://github.com/Azganoth/tree-sitter-lua/blob/master/grammar.js
M
MaxGraey
Вот кстати интерестное предложение заменить регулярные выражения на ABNF правила:
https://www.sitepoint.com/alternative-to-regular-expressions
https://www.sitepoint.com/alternative-to-regular-expressions
Есть еще VerbalExpressions но они лишь рещают проблему читабельности, а так это все те же регулярные выражения
https://github.com/VerbalExpressions/JSVerbalExpressions#testing-if-we-have-a-valid-url
https://github.com/VerbalExpressions/JSVerbalExpressions#testing-if-we-have-a-valid-url
M
у триситтера примерно такую же идею можно заюзать https://github.com/Azganoth/tree-sitter-lua/blob/master/grammar.js
Очень похоже на parser combinator
ВМ
Не, это всё же генератор парсеров, из грамматики на джаваскрипте генерится либка сишная и можно потом кучей врапперов для разных языков разбирать дерево
ВМ
фича в том что эта штука делает нам инкрементальный парсер
ВМ
очень нужно для IDE всяких, чтобы при обновлении контента не перепаршивать весь файл, а так же парсинг не падает если обнаруживается ошибка парсинга
K
Оно не падает, да, оно просто вместо какого-то узла выдаёт (ERROR <пачка токенов>)