У меня есть конкретное дерево разбора для кода (CST), и соответствующее ему абстрактное (AST), полученное из первого просто выбрасыванием всех вспомогательных токенов.

Мне нужно сделать обратное преобразование - имея AST по нему добавить недостающие токены (и потом в собрать это все обратно в строку). Самый простой вариант это реализовать - написать вручную куда и при каких условиях что нужно добавить, но это достаточно мутный процесс.

У меня была идея распарсить какое-то количество тестового кода, собрать статистику по тому где какие вспомогательные токены встречаются, и на основе этого сгенерировать код для преобразователя из AST в CST. Возможно с какими-то ручными изменениями после.

Может быть кто-то встречал что-то похожее и может порекомендовать какие-то статьи на эту тему? Если честно то у меня не очень получилось даже загуглить это, но может быть я не смог сформулировать.

как восстановить информацию, которую вы только что выкинули - довольно несложная проблема, как только ее решите, всё будет!

У меня есть конкретное дерево разбора для кода (CST), и соответствующее ему абстрактное (AST), полученное из первого просто выбрасыванием всех вспомогательных токенов.

Мне нужно сделать обратное преобразование - имея AST по нему добавить недостающие токены (и потом в собрать это все обратно в строку). Самый простой вариант это реализовать - написать вручную куда и при каких условиях что нужно добавить, но это достаточно мутный процесс.

У меня была идея распарсить какое-то количество тестового кода, собрать статистику по тому где какие вспомогательные токены встречаются, и на основе этого сгенерировать код для преобразователя из AST в CST. Возможно с какими-то ручными изменениями после.

Может быть кто-то встречал что-то похожее и может порекомендовать какие-то статьи на эту тему? Если честно то у меня не очень получилось даже загуглить это, но может быть я не смог сформулировать.

может он выглядит как

echo
(
1,2)

Это уже конкретная строка для кода, меня все же интересует дерево разбора, в котором просто вернули вспомогательные токены. Так что

echo (1,                2) == echo(1, 2)

Но

echo 1, 2 ! = echo(1, 2)

Интересен процесс получения  AST из CST. Вы это делаете сразу при парсинге или отдельным проходом? Если отдельным, то выбрасываете ли помимо токенов ещё и промежуточные узлы дерева?

Отдельным проходом, выкидываются только те узлы которые представляют из себя вспомогательные токены (наподобие (),)

Интересен процесс получения  AST из CST. Вы это делаете сразу при парсинге или отдельным проходом? Если отдельным, то выбрасываете ли помимо токенов ещё и промежуточные узлы дерева?

Стоит задача, имея только AST cобрать конкретное дерево разбора. AST сгенерировано само по себе, какой-то другой частью программы, и (для простоты задачи) не соответвует никакому существующему коду.

так вы в строку отрендерить хотите?

Ну в конечном итоге да, в строку, но тут уже полного соответствия быть не должно, так что это можно написать вручную частично

Нет, нет, проблемы в рендеринге в строку нет, меня интересовало только преобразование AST -> CST, с остальным все достаточно понятно.