всем добрый день ещё раз (особенно тем у кого функциональщина головного мозга =) )

есть таблица EAV в виде

datadatetime, pk1, textualpk1, textualpk2, keycolumn, valuecolumn

кардиналити на pk1 высокий, на key не очень.

в целях отчетности она пивот-иться в вид:

pk1, textualpk1, textualpk2, keycolumn, valuedate1, valuedate2, valuedate3

, пока запрос такой.

with [toDate('2020-04-06') , toDate('2020-04-07') , toDate('2020-04-08')] as "report_dates" 
select pk1, keycolumn,
any("textualpk1") as "textualpk1" , -- very fat strings
any("textual2pk1") as "textual2pk1" , -- very fat strings
(groupArrayInsertAt(Null, 3)(tuple(toNullable("keycolumn")), toUInt32(indexOf("report_dates" , toDate("datadatetime")) -1)).1 as "valuecolumn")[1] as "2020-04-06" , 
"param_values"[2] as "2020-04-07" , 
"param_values"[3] as "2020-04-08"
from keyvalues
group by "pk1" , "keycolumn";

когда строк комбинаций pk1*key очень много жрет память 125 млн строк на 22 ГБ в виду очень Жирных текстовых колонок.
можно как нибудь умнее переписать?

PS. в память словарь с pk1, textualpk1 не влезает. в нашей версии ssd_cache ещё не подвезли.

есть оптимизация  -- group by использует индекс, может запрос вообще стримабл можно сделать?

Т.е. Enum8 был расширен полем 'dcm'

В итоге WHERE по этому значению не работает напрямую

SELECT *
FROM db.tb
WHERE ProjectID==7
AND src=='dcm'

И нужно делать инвертированный фильтр

SELECT *
FROM db.tb
WHERE ProjectID==7
AND not (src=='hz' OR src=='ga' OR src=='bq' OR src=='ym' OR src=='adriver' OR src=='sizmek' OR src=='weborama' OR src=='crm')

Но ведь это же черезжопство...
Явно какая-то ошибка

#1 будет ли эта оптимизация работать при наличии where pk1 IN (xxx) — большой IN
#2 чтобы эта оптимизация работала надо докинуть keycolumn в конец индекса, и все?

ну еще один баг https://github.com/ClickHouse/ClickHouse/issues/13675

detach / attach помогает

Это равносильно перезапуску КХ?

Прошу прошения, что снова встреваю (( подскажите пожалуйста по синтаксису вложенных запросов, как правильно переписать пример

SELECT
      t1.field1,
      (select t2.field2, t2.field3
        from table2 t2 where t2.field = t1.field1
      )
FROM table1 t1

чтобы он стал рабочим? ругается что не видит t1.field1 во вложенном запросе...

да

для начала поджойнить t1 на t2

Прошу прошения, что снова встреваю (( подскажите пожалуйста по синтаксису вложенных запросов, как правильно переписать пример

SELECT
      t1.field1,
      (select t2.field2, t2.field3
        from table2 t2 where t2.field = t1.field1
      )
FROM table1 t1

чтобы он стал рабочим? ругается что не видит t1.field1 во вложенном запросе...

Прошу прошения, что снова встреваю (( подскажите пожалуйста по синтаксису вложенных запросов, как правильно переписать пример

SELECT
      t1.field1,
      (select t2.field2, t2.field3
        from table2 t2 where t2.field = t1.field1
      )
FROM table1 t1

чтобы он стал рабочим? ругается что не видит t1.field1 во вложенном запросе...

не поддерживает коррелированные подзапросы КХ. Внешние словари м.б. ?

а как быть? джойнить не вариант, там их 5 штук второстепенных таблиц... сейчас пробовали joinGet - падаем по нехватке оперативки

Внешние словари ?

а как быть? джойнить не вариант, там их 5 штук второстепенных таблиц... сейчас пробовали joinGet - падаем по нехватке оперативки