да, нужна эвристика (т.е. структура "пути" позволяет некоторые вольности)...
2 подзадачи.
1. для каждой строки в 100 млн таблице сделать проверку на то является ли она одной подстрокой одной из строк 100 тыс таблицы  (это вообщем то решилось массивом родителей и развертыванием оного + дистинктом)

2. для каждой строки в 100 млн таблице проверить является ли одна из строк в 100 тыс таблице её подстрокой (тут уже сложнее, так как каждую строку в 100 млн таблице не поразбиваешь)... можно ли как то сделать словарь всех объектов? и вытащить из него во временную таблицу и уже применить прямой join/in? dictGetHierarchy наоборот?

старый вопрос у меня так и не решился... жду рацпредложений от гуру )
—-
всем добрый вечер, очередная головоломка )
как за-семи-джойнить две таблицы  (а точнее отфильтровать одну при помощи второй) по совпадению в префиксе.
пока смог только так, но по итогу выпадает с аут оф мемори (видимо arrayExists  копирует входной массив на каждую строку в where).

пример
with (
 select groupArray(objfilter) from (
   select 'lvl1=2,lvl2=3,lvl3=5' as objfilter UNION ALL
   select 'lvl1=1,lvl2=3,lvl3=5,lvl4=43' as objfilter
 )
) as fltArr
select fltArr, * from
(
select 'lvl1=2,lvl2=3,lvl3=5' as objpath UNION ALL
select 'lvl1=2,lvl2=3,lvl3=5,lvl4=2' as objpath UNION ALL
select 'lvl1=2,lvl2=3,lvl3=5,lvl4=44' as objpath UNION ALL
select 'lvl1=3,lvl2=3,lvl3=6' as objpath UNION ALL
select 'lvl1=2,lvl2=3' as objpath UNION ALL
select 'lvl1=1,lvl2=3,lvl3=5' as objpath  
) t
WHERE arrayExists(
               selectedObj ->
                    (startsWith(objpath, selectedObj)
                       or startsWith(selectedObj…