YS
Можно примеры?
Примеры чего именно (я не понял, про что именно вопрос, извините)?
Size: a a a
2020 March 26
А
Можно примеры?
документационные комментарии в java?
ИЧ
Yaroslav Schekin
Я бы сказал — нет, не достаточно. Есть языки, которые не разбираются LL; и, опять же, я не совсем понимаю, что там с восстановлением после ошибок. И удобство создания и отладки спецификаций для конкретных языков — тоже вопрос.
а есть синтаксический анализатор, который может описать любой язык? или доказательство его возможности/невозможности?
IB
Yaroslav Schekin
Примеры чего именно (я не понял, про что именно вопрос, извините)?
Пример, где "лексическая" подсветка "так себе", и пример, где регекспов не хватает для лексического разбора языка (что-нибудь не совсем маргинальное).
YS
а есть синтаксический анализатор, который может описать любой язык? или доказательство его возможности/невозможности?
Есть практические решения, которые, видимо, работают более-менее приемлемо. Меня просто интересует, на чём всё это основано?
PS
Yaroslav Schekin
Для моего любимого языка честный "токенизатор" именно для подсветки практически бесполезен (но это Вы просто "попали" в неудачный пример). ;)
Опять-таки, мне интересны общие подходы... что толку зацикливаться на конкретных языках?
Опять-таки, мне интересны общие подходы... что толку зацикливаться на конкретных языках?
Так ведь лексическая часть — это и есть достаточно общий подход. Необходимый, но, во многих случаях, недостаточный. Но вообще-то, я полагал, что заинтересую Вас сложностью задачи реализации инкрементального токенизатора. Благо, по нему есть масса научных статей и готовых решений. А оно вон как вышло — не заинтересовал %)
ИЧ
Yaroslav Schekin
Есть практические решения, которые, видимо, работают более-менее приемлемо. Меня просто интересует, на чём всё это основано?
скорее есть частные решения, которые работают отлично, а общего решения нет, и это лежит в области доказательства теорем, как мне кажется
ИЧ
можно начать с того, что регекспы не могут разобрать всё, а например питон может, и дальше упрощать синтаксис)
YS
Пример, где "лексическая" подсветка "так себе", и пример, где регекспов не хватает для лексического разбора языка (что-нибудь не совсем маргинальное).
Да хоть вложенные комментарии в стиле /* /* */ */.
Или вот это (SQL):
Почти всё здесь — незарезервированные ключевые слова. Если посдвечивать только на уровне токенов, получается... понятно что.
Или вот это (SQL):
SELECT RECURSIVE
FROM BEGIN RECURSIVE
JOIN COMMIT ALTER
ON AFTER > ABORT
Почти всё здесь — незарезервированные ключевые слова. Если посдвечивать только на уровне токенов, получается... понятно что.
YS
скорее есть частные решения, которые работают отлично, а общего решения нет, и это лежит в области доказательства теорем, как мне кажется
Неужели каждый, перед кем встаёт эта задача, начинает "с чистого листа"? :(
ИЧ
Yaroslav Schekin
Неужели каждый, перед кем встаёт эта задача, начинает "с чистого листа"? :(
https://ru.wikipedia.org/wiki/%D0%A1%D0%B8%D0%BD%D1%82%D0%B0%D0%BA%D1%81%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7 можно зайти на эту страничку, изучить все типы анализаторов, посмотреть на их слабые стороны, то что они не могут распарсить, и с помощью фантазии, придумать свой супер-анализатор!
YS
https://ru.wikipedia.org/wiki/%D0%A1%D0%B8%D0%BD%D1%82%D0%B0%D0%BA%D1%81%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7 можно зайти на эту страничку, изучить все типы анализаторов, посмотреть на их слабые стороны, то что они не могут распарсить, и с помощью фантазии, придумать свой супер-анализатор!
Я не думаю, что это имеет непосредственное отношение к моему вопросу — не хочется изобретать свой "супер-велосипед". ;)
IB
Yaroslav Schekin
Да хоть вложенные комментарии в стиле /* /* */ */.
Или вот это (SQL):
Почти всё здесь — незарезервированные ключевые слова. Если посдвечивать только на уровне токенов, получается... понятно что.
Или вот это (SQL):
SELECT RECURSIVE
FROM BEGIN RECURSIVE
JOIN COMMIT ALTER
ON AFTER > ABORT
Почти всё здесь — незарезервированные ключевые слова. Если посдвечивать только на уровне токенов, получается... понятно что.
Да, спасибо. А много есть языков, где есть вложенные комментарии?
SQL — это соответствует какому-то стандарту? В тех диалектах, с которыми мне довелось работать, такие имена полей и таблиц приходилось как-то эскейпить. Классический пример того, что вы привели (когда зарезервированные слова могут быть и идентификаторами) — PL/I, других примеров я доселе не видел (ну да, Perl с некоторой натяжкой).
SQL — это соответствует какому-то стандарту? В тех диалектах, с которыми мне довелось работать, такие имена полей и таблиц приходилось как-то эскейпить. Классический пример того, что вы привели (когда зарезервированные слова могут быть и идентификаторами) — PL/I, других примеров я доселе не видел (ну да, Perl с некоторой натяжкой).
K
Я видел предложения добоваления в LSP то ли семантической подстветки, то ли отступов. Думаю, что хорошее решение должно выглядять как-то так.
А то, что я видел с регулярками (плагины к vscode) — это костыли жуткие, так как регулярки с мощностью как у контекстно-зависимых грамматик превращаются в переизобретенную фазу сокращенного парсинга
А то, что я видел с регулярками (плагины к vscode) — это костыли жуткие, так как регулярки с мощностью как у контекстно-зависимых грамматик превращаются в переизобретенную фазу сокращенного парсинга
ИЧ
Yaroslav Schekin
Я не думаю, что это имеет непосредственное отношение к моему вопросу — не хочется изобретать свой "супер-велосипед". ;)
хм, мне вот чётко видится, что задача состоит в том, чтоб обобщить LL, LR в нечто потрясающее, как теория всего
YS
Да, спасибо. А много есть языков, где есть вложенные комментарии?
SQL — это соответствует какому-то стандарту? В тех диалектах, с которыми мне довелось работать, такие имена полей и таблиц приходилось как-то эскейпить. Классический пример того, что вы привели (когда зарезервированные слова могут быть и идентификаторами) — PL/I, других примеров я доселе не видел (ну да, Perl с некоторой натяжкой).
SQL — это соответствует какому-то стандарту? В тех диалектах, с которыми мне довелось работать, такие имена полей и таблиц приходилось как-то эскейпить. Классический пример того, что вы привели (когда зарезервированные слова могут быть и идентификаторами) — PL/I, других примеров я доселе не видел (ну да, Perl с некоторой натяжкой).
> А много есть языков, где есть вложенные комментарии?
Не знаю, если честно. Но если подход такое "не может" — на роль "универсального" он не подойдёт.
> SQL — это соответствует какому-то стандарту?
ISO SQL... более-менее. ;)
Не знаю, если честно. Но если подход такое "не может" — на роль "универсального" он не подойдёт.
> SQL — это соответствует какому-то стандарту?
ISO SQL... более-менее. ;)
IB
Yaroslav Schekin
> А много есть языков, где есть вложенные комментарии?
Не знаю, если честно. Но если подход такое "не может" — на роль "универсального" он не подойдёт.
> SQL — это соответствует какому-то стандарту?
ISO SQL... более-менее. ;)
Не знаю, если честно. Но если подход такое "не может" — на роль "универсального" он не подойдёт.
> SQL — это соответствует какому-то стандарту?
ISO SQL... более-менее. ;)
Тогда машину Тьюринга в руки и вперёд :)
YS
Я видел предложения добоваления в LSP то ли семантической подстветки, то ли отступов. Думаю, что хорошее решение должно выглядять как-то так.
А то, что я видел с регулярками (плагины к vscode) — это костыли жуткие, так как регулярки с мощностью как у контекстно-зависимых грамматик превращаются в переизобретенную фазу сокращенного парсинга
А то, что я видел с регулярками (плагины к vscode) — это костыли жуткие, так как регулярки с мощностью как у контекстно-зависимых грамматик превращаются в переизобретенную фазу сокращенного парсинга
> Думаю, что хорошее решение должно выглядять как-то так.
Как-то как? LSP — это просто обёртка, как это делать-то? ;)
> костыли жуткие, так как регулярки с мощностью как у контекстно-зависимых грамматик
Да, вот такое и попадается — и всё время разное, что печально. :(
Как-то как? LSP — это просто обёртка, как это делать-то? ;)
> костыли жуткие, так как регулярки с мощностью как у контекстно-зависимых грамматик
Да, вот такое и попадается — и всё время разное, что печально. :(
YS
Тогда машину Тьюринга в руки и вперёд :)
Ну уж нет! ;)
Неплохо бы DSL такой мощности на эту тему найти — это да.
Неплохо бы DSL такой мощности на эту тему найти — это да.
K
Yaroslav Schekin
> Думаю, что хорошее решение должно выглядять как-то так.
Как-то как? LSP — это просто обёртка, как это делать-то? ;)
> костыли жуткие, так как регулярки с мощностью как у контекстно-зависимых грамматик
Да, вот такое и попадается — и всё время разное, что печально. :(
Как-то как? LSP — это просто обёртка, как это делать-то? ;)
> костыли жуткие, так как регулярки с мощностью как у контекстно-зависимых грамматик
Да, вот такое и попадается — и всё время разное, что печально. :(
Как специальный вид парсера. Думаю, что можно накрутить полиморфизм в action коде: в одном случае делать AST, а во втором выдавать отрезки с тегами содержимого