D
Потому что к словарям обращения по любому большими пачками... И часто они могут быть сортированными пачками...
Size: a a a
2020 August 30
DC
Да, особенно если полностью лезет...
в том-то и прикол что в MT ужатое залезет в тыщу раз больше чем ssdcache
M
мердж три то нельзя апдейтить
M
а ужатое потому что по колонкам, а словать хранит блоки фиксированного размера скорее всего, и читается всё блоками
DC
мердж три то нельзя апдейтить
например меня это мало волнует, потому что я джойню с таблицами атрибутов юзеров (ReplacingMT) которые уже в КХ
M
по сути МерджТри+KV = LSM 🙂
M
я почему сразу и сказал, что меня бы лично вполне устроил Merge Join, так как я джойню юзеров с их ивентами, которые опять же сгруппированы и отсортированы по userid. Но увы и ах.
M
и юзеров можно было бы заводить сколько угодно, и сжимались бы они хорошо
DC
я почему сразу и сказал, что меня бы лично вполне устроил Merge Join, так как я джойню юзеров с их ивентами, которые опять же сгруппированы и отсортированы по userid. Но увы и ах.
одна проблема, что его нет и неизвестно будет-ли вообще
DC
и мне например вообще Merge Join не подходит потому что таблица фактов вообще отсортирована как надо для селектов, а джойнить надо с кучей таблиц которые отсортированые по разному и вообще про разное, каталоги товаров, юзеров
M
Слушайте, а как в этот словарь то вставить данные? Есть ли какой-нибудь INSERT/UPDATE?
DC
словарь сам
M
А то я может и по-диагонали читаю, но пока вижу, что словари или из файлов или из mysql или ещё откуда
DC
А то я может и по-диагонали читаю, но пока вижу, что словари или из файлов или из mysql или ещё откуда
вы gist открывали вообще?
СХ
А то я может и по-диагонали читаю, но пока вижу, что словари или из файлов или из mysql или ещё откуда
ну я пока видел в основном реплику словарей по jdbc/odbc из mssql/pg
M
вы gist открывали вообще?
аа, понял, он сам себя может использовать, свои же таблицы
DC
Переслано от Mikhail Filimonov
Ну это вещи ортогональные. Улучшение memory-layout словарей тоже нужно, но если бы был прямой / быстрый / многопоточный доступ к примеру к аэроспайку или хоть тому же редису, то возможно словарь лежажий в памяти кликхауса и вовсе не понадобился бы (а в key-value хранилищах память организована хорошо).
DC
ну т.е. если аэроспайк вкомпилять в КХ , то
M
многопоточный доступ к однопоточному редису 🙂
M
Я думаю допилят ssdcache при желании. Думаю там всё упирается во что-нибудь очевидное