P
А почему нет?
Size: a a a
2020 June 03
MS
Потому что это невалидный токен.
MS
Это ты, человек, понимаешь что на самом деле это два токена слепленных вместе.
P
Так а почему ты рассматриваешь весь текст как один токен?
MS
Лексер этого понимать не должен.
P
У меня Лексер построен на автоматах и он проверяет автоматом, который отвечает за числа, что это число.
PS
Так а почему ты рассматриваешь весь текст как один токен?
Смотрите скриншот и разбирайтесь.
P
Ок, попробую
P
А откуда скриншот взят?
PS
А откуда скриншот взят?
Из стандарта C++, естественно. :)
MO
А почему лексера, а не грамматики?
я бы ожидал, что будет ошибка конвертации строки в число, стало быть лексический уровень
PS
Деление на лексическую и синтаксическую часть в общем случае эфемерно.
Он может иметь смысл только в контексте специфики работы с конкретным ЯП.
Он может иметь смысл только в контексте специфики работы с конкретным ЯП.
DP
В соседнем чате зашёл разговор про GC и игры. Мне на этот счёт давно уже подумалось, что внедрение very low pause GC в новых JVM (Shenandoah GC и кто там ещё) вкупе с и так давно дофига быстрым JIT и оптимизированным по выделению памяти и переиспользованию объектов кодингом в недрах движков, сделает их пригодными для очень широкого круга игр, кром там самых навороченных AAA блокбастеров. Предположительно, GraalVM сможет и ещё расширить спектр платформ для тех, кому очень нужно.
Или у меня слишком поверхностный и оптимистичный взгляд?
Или у меня слишком поверхностный и оптимистичный взгляд?
Nim обсуждали? у него один из восьми вариантов сборщиков умеет "синхронный" режим, делалось как раз для игр
P
Так а что можно понять по этому скрину? Да, здесь валидные идентификаторы описаны, но вопрос в разбиении на токены исходного текста.
Я же не говорю, что 123name это будет identifier.
Интересно, как в реальных системах это работает.
Я же не говорю, что 123name это будет identifier.
Интересно, как в реальных системах это работает.
MM
Хм...
built-in literal + _ + suffix.
built-in literal + _ + suffix.
Откуда вы это взяли? В грамматике нет _: http://eel.is/c++draft/lex.ext#nt:user-defined-integer-literal
PS
Так а что можно понять по этому скрину? Да, здесь валидные идентификаторы описаны, но вопрос в разбиении на токены исходного текста.
Я же не говорю, что 123name это будет identifier.
Интересно, как в реальных системах это работает.
Я же не говорю, что 123name это будет identifier.
Интересно, как в реальных системах это работает.
В реальных системах работает примитивный жадный выбор шаблонов токенов. Так называемый maximal munch.
P
Откуда вы это взяли? В грамматике нет _: http://eel.is/c++draft/lex.ext#nt:user-defined-integer-literal
MM
Автор ошибается. _ c точки зрения грамматики не нужно. Есть правда одна тонкость: все UDL-суффиксы, не начинающиеся с _ зарезервированы для стандартной библиотеки