DC
партишн -- виртуальная сущьность. Логически объединяет физические парты.
Size: a a a
2021 January 16
NT
Добрый день, подскажите, как сделать лучше, есть 10000 различных строк, вносится 1миллиард строк, где один колумн, это содержимое одной из этих 10000 строк, лучше вынести их в отдельную таблицу и дать им ID и вносить его или просто вносить их в таблицу и не париться?
NT
Длина строк от 40 до 80 символов
AZ
LowCardinality быть может?
DC
Добрый день, подскажите, как сделать лучше, есть 10000 различных строк, вносится 1миллиард строк, где один колумн, это содержимое одной из этих 10000 строк, лучше вынести их в отдельную таблицу и дать им ID и вносить его или просто вносить их в таблицу и не париться?
есть такая штука -- LowCardinality, примерно для вашего случая
NT
есть такая штука -- LowCardinality, примерно для вашего случая
Да, я знаю про неё, просто боюсь, что потом 10 000 строк могут превратиться в 100 000
NT
Или даже больше
DC
Да, я знаю про неё, просто боюсь, что потом 10 000 строк могут превратиться в 100 000
словарь в каждом парте свой
NT
о, это отличная новость, спасибо!
NT
А LowCardinality может быть Nullable?
DC
Да, я знаю про неё, просто боюсь, что потом 10 000 строк могут превратиться в 100 000
на самом деле решение можно принять только зная запросы которые будут выполняться над этой колонкой.
И например джойн с таблицей на 100к это совсем не сахар. И словарь (ext.dictionary) тоже не сахар.
И например джойн с таблицей на 100к это совсем не сахар. И словарь (ext.dictionary) тоже не сахар.
DC
А LowCardinality может быть Nullable?
да
NT
на самом деле решение можно принять только зная запросы которые будут выполняться над этой колонкой.
И например джойн с таблицей на 100к это совсем не сахар. И словарь (ext.dictionary) тоже не сахар.
И например джойн с таблицей на 100к это совсем не сахар. И словарь (ext.dictionary) тоже не сахар.
Join'ы делаться не будут, только если на несколько сотен строк
DC
Join'ы делаться не будут, только если на несколько сотен строк
вы просто не понимаете что такое джойны.
Вот например вы сохранили в большой таблице id = 777
В маленькой таблице у вас 100к строк, как вы расшифруете 777 в большой таблице?
Вы сделаете джойн. Nested loop в КХ нету, HashJoin перекинет все 100к в память и будет делать это очень долго (100мс)
Вот например вы сохранили в большой таблице id = 777
В маленькой таблице у вас 100к строк, как вы расшифруете 777 в большой таблице?
Вы сделаете джойн. Nested loop в КХ нету, HashJoin перекинет все 100к в память и будет делать это очень долго (100мс)
NT
вы просто не понимаете что такое джойны.
Вот например вы сохранили в большой таблице id = 777
В маленькой таблице у вас 100к строк, как вы расшифруете 777 в большой таблице?
Вы сделаете джойн. Nested loop в КХ нету, HashJoin перекинет все 100к в память и будет делать это очень долго (100мс)
Вот например вы сохранили в большой таблице id = 777
В маленькой таблице у вас 100к строк, как вы расшифруете 777 в большой таблице?
Вы сделаете джойн. Nested loop в КХ нету, HashJoin перекинет все 100к в память и будет делать это очень долго (100мс)
Вынесу данные, которые мне нужны в ENGINE = Memory() и там сделаю Join
DC
Вынесу данные, которые мне нужны в ENGINE = Memory() и там сделаю Join
ахаха.
DC
Проблема 100мс. возникает из перекладывания данных в хеш-таблицу, поэтому ENGINE = Memory() ничего не изменит
DC
Есть правда Engine=Join который поможет, но с ним другие проблемы
DC
Ну когда кол-во строк станет не 100к, возникнут новые трудности типа out of memory