AT
S rule is left-recursive, is that compatible with LL(1) at all?
a terminal all over the place, you're not going to decide on particular rule without lookahead.Size: a a a
2020 June 06
AT
Then you have
2020 June 07
IK
Между тем подъезжают рантаймы Dart и Dlang под ANTLR: https://github.com/antlr/antlr4/pull/2728 https://github.com/antlr/antlr4/pull/2843
IK
Правда не очень понятно, зачем второй, вроде D не особо популярный
2020 June 08
p
Кто может объяснить или поделиться объяснением зачем нужен лексер? Почему бы сразу не парсить текст в базовое промежуточное представление, минуя AST? кмк это должно быть быстрее так как мы за один проход собираем всю информацию и избавляемся от ненужной сразу.
AZ
Кто может объяснить или поделиться объяснением зачем нужен лексер? Почему бы сразу не парсить текст в базовое промежуточное представление, минуя AST? кмк это должно быть быстрее так как мы за один проход собираем всю информацию и избавляемся от ненужной сразу.
К примеру вам очень проблемотично будет производить оптимизации и сложность вашего кода не плохо так увеличится)
p
К примеру вам очень проблемотично будет производить оптимизации и сложность вашего кода не плохо так увеличится)
можно поподробнее?
AZ
можно поподробнее?
Начнем с того что вы сейчас называете промежуточным представлением?
p
к примеру для
data Foo = Bar | Bazможно было бы сразу парсить текст в следующее представление:
data: Foo
constructors: [Bar, Baz]p
насколько я понимаю, принято в начале парсить в поток токенов
[Keyword(data), Ident(Foo), Assign, Ident(Bar), Or, Ident(Baz)]AZ
к примеру для
data Foo = Bar | Bazможно было бы сразу парсить текст в следующее представление:
data: Foo
constructors: [Bar, Baz]Ага.. А что делать со случаями когда нужно сильно вперед проходить чтобы понять что за конструкция синтаксическая используется?
Вам придется по несколько раз проходить вперед для каждой конструкции. Это около 50 символов к примеру. И вместо прохода по 5 токенам мы будем проходить по тексту.
Конечно можно кэшировать результат, но в таком случае вы по сути так же создаете токены, как это делает лексер
Вам придется по несколько раз проходить вперед для каждой конструкции. Это около 50 символов к примеру. И вместо прохода по 5 токенам мы будем проходить по тексту.
Конечно можно кэшировать результат, но в таком случае вы по сути так же создаете токены, как это делает лексер
AZ
Ну и с лексемами гораздо проще работать, всё таки.
AZ
И расширять компилятор новыми конструкциями
p
Ага.. А что делать со случаями когда нужно сильно вперед проходить чтобы понять что за конструкция синтаксическая используется?
Вам придется по несколько раз проходить вперед для каждой конструкции. Это около 50 символов к примеру. И вместо прохода по 5 токенам мы будем проходить по тексту.
Конечно можно кэшировать результат, но в таком случае вы по сути так же создаете токены, как это делает лексер
Вам придется по несколько раз проходить вперед для каждой конструкции. Это около 50 символов к примеру. И вместо прохода по 5 токенам мы будем проходить по тексту.
Конечно можно кэшировать результат, но в таком случае вы по сути так же создаете токены, как это делает лексер
>А что делать со случаями когда нужно сильно вперед проходить чтобы понять что за конструкция синтаксическая используется?
ну например составлять грамматику так, чтобы таких конструкций не возникало?
ну например составлять грамматику так, чтобы таких конструкций не возникало?
AZ
>А что делать со случаями когда нужно сильно вперед проходить чтобы понять что за конструкция синтаксическая используется?
ну например составлять грамматику так, чтобы таких конструкций не возникало?
ну например составлять грамматику так, чтобы таких конструкций не возникало?
Т.е. вы выпустите одну версию языка и больше никогда не будете её обновлять? Версия 1.0 и точка
p
И расширять компилятор новыми конструкциями
так парсинг это основное время работы компилятора. он должен быть в первую очередь быстрым, а насколько просто реализовать быстроту - дело другое.
p
Т.е. вы выпустите одну версию языка и больше никогда не будете её обновлять? Версия 1.0 и точка
составлять грамматику так, чтобы таких конструкций не возникало
p
то есть учитывать и возможность дальнейшего добавления конструкций, ясное дело.
AZ
так парсинг это основное время работы компилятора. он должен быть в первую очередь быстрым, а насколько просто реализовать быстроту - дело другое.
Всё зависит от сложности проекта. Если это что-то простоя для себя, то можно и сразу транслировать.
Иначе возникает куча проблем и выйгрыш в скорости не будет существенным
Иначе возникает куча проблем и выйгрыш в скорости не будет существенным
p
Всё зависит от сложности проекта. Если это что-то простоя для себя, то можно и сразу транслировать.
Иначе возникает куча проблем и выйгрыш в скорости не будет существенным
Иначе возникает куча проблем и выйгрыш в скорости не будет существенным
ну вот мне и интересно, какие проблемы возникают, к чему и был вопрос :)