l
вообще можно попробовать прямо написать INNER JOIN ON (names)
Size: a a a
2020 June 17
l
я не уверен. что он правильно пробрасывает условие из WHERE
DC
вообще можно попробовать прямо написать INNER JOIN ON (names)
так и написано уже было, в изначальном вопросе это inner join
DC
in всегда лучше, до 100тыс. будет использоваться индекс, после будет фуллскан, но это все равно намного лучше чем join
D
in всегда лучше, до 100тыс. будет использоваться индекс, после будет фуллскан, но это все равно намного лучше чем join
eto hardcoded limit в коде?
DC
eto hardcoded limit в коде?
и да и нет, зависит от версии КХ
l
так и написано уже было, в изначальном вопросе это inner join
ну, у него не ON используется а условие в WHERE, вот я не уверен. что он правильно опускает это условие в ON
DC
ну, у него не ON используется а условие в WHERE, вот я не уверен. что он правильно опускает это условие в ON
кх переписывает
from a, b
where a.k = b.k
в from a join b on a.k = b.k
from a, b
where a.k = b.k
в from a join b on a.k = b.k
l
кх переписывает
from a, b
where a.k = b.k
в from a join b on a.k = b.k
from a, b
where a.k = b.k
в from a join b on a.k = b.k
а, ну тогда ок
D
и да и нет, зависит от версии КХ
и что вот так прям без гиста что ли? )
l
предполагается увеличение name до сотни тысяч
а какой процент actual_names будет составлять ото всех возможных names
и как часто каждый names выпадает на день?
и как часто каждый names выпадает на день?
A
все в одну очень широкую таблицу, все что можно закодировать через справочники в словари
то есть это вот шляпа?
VB
в логе КХ сервера посмотрите SQL который выполнялся и ошибку
2020.06.17 14:59:39.144160 [ 18163 ] {} <Error> ConfigReloader: Error loading config from '/etc/clickhouse-server/clickhouse-server/users.xml': Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Exception: Failed to merge config with '/etc/clickhouse-server/clickhouse-server/conf.d/zookeeper-preprocessed.xml': Access to file denied: /etc/clickhouse-server/clickhouse-server/conf.d/zookeeper-preprocessed.xml, Stack trace (when copying this message, always include the lines below):
0. Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x103fa390 in /usr/bin/clickhouse
1. ? @ 0xddb2720 in /usr/bin/clickhouse
2. DB::ConfigProcessor::loadConfig(bool) @ 0xddb0777 in /usr/bin/clickhouse
3. DB::ConfigReloader::reloadIfNewer(bool, bool, bool) @ 0xddb9f2f in /usr/bin/clickhouse
4. DB::ConfigReloader::run() @ 0xddbd9af in /usr/bin/clickhouse
5. ThreadFromGlobalPool::ThreadFromGlobalPool<void (DB::ConfigReloader::*)(), DB::ConfigReloader*>(void (DB::ConfigReloader::*&&)(), DB::ConfigReloader*&&)::'lambda'()::operator()() const @ 0xddbe487 in /usr/bin/clickhouse
6. ThreadPoolImpl<std::__1::thread>::worker(std::__1::__list_iterator<std::__1::thread, void*>) @ 0x9031267 in /usr/bin/clickhouse
7. ? @ 0x902f753 in /usr/bin/clickhouse
8. start_thread @ 0x7fa3 in /usr/lib/x86_64-linux-gnu/libpthread-2.28.so
9. clone @ 0xf94cf in /usr/lib/x86_64-linux-gnu/libc-2.28.so
(version 20.4.5.36 (official build))VB
такое сыпать начало
DC
и что вот так прям без гиста что ли? )
был параметр и по дефолту там было 100к, теперь какой-то сложный расчет, из размера блока и ширины (a,b,c) in
DC
ну если все запихнуть в словари кроме FACT то это ОК
если product или customer миллионы, то словари не заработают, тогда надо в FACT
если product или customer миллионы, то словари не заработают, тогда надо в FACT
DC
2020.06.17 14:59:39.144160 [ 18163 ] {} <Error> ConfigReloader: Error loading config from '/etc/clickhouse-server/clickhouse-server/users.xml': Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Exception: Failed to merge config with '/etc/clickhouse-server/clickhouse-server/conf.d/zookeeper-preprocessed.xml': Access to file denied: /etc/clickhouse-server/clickhouse-server/conf.d/zookeeper-preprocessed.xml, Stack trace (when copying this message, always include the lines below):
0. Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x103fa390 in /usr/bin/clickhouse
1. ? @ 0xddb2720 in /usr/bin/clickhouse
2. DB::ConfigProcessor::loadConfig(bool) @ 0xddb0777 in /usr/bin/clickhouse
3. DB::ConfigReloader::reloadIfNewer(bool, bool, bool) @ 0xddb9f2f in /usr/bin/clickhouse
4. DB::ConfigReloader::run() @ 0xddbd9af in /usr/bin/clickhouse
5. ThreadFromGlobalPool::ThreadFromGlobalPool<void (DB::ConfigReloader::*)(), DB::ConfigReloader*>(void (DB::ConfigReloader::*&&)(), DB::ConfigReloader*&&)::'lambda'()::operator()() const @ 0xddbe487 in /usr/bin/clickhouse
6. ThreadPoolImpl<std::__1::thread>::worker(std::__1::__list_iterator<std::__1::thread, void*>) @ 0x9031267 in /usr/bin/clickhouse
7. ? @ 0x902f753 in /usr/bin/clickhouse
8. start_thread @ 0x7fa3 in /usr/lib/x86_64-linux-gnu/libpthread-2.28.so
9. clone @ 0xf94cf in /usr/lib/x86_64-linux-gnu/libc-2.28.so
(version 20.4.5.36 (official build))там и что
ls -l
и его надо удалить, он не нужен в
ls -l
/etc/clickhouse-server/clickhouse-server/conf.d/zookeeper-preprocessed.xmlи его надо удалить, он не нужен в
20.4.5.36VB
там и что
ls -l
и его надо удалить, он не нужен в
ls -l
/etc/clickhouse-server/clickhouse-server/conf.d/zookeeper-preprocessed.xmlи его надо удалить, он не нужен в
20.4.5.36странно
он сам создается после запуска clickhouse-copier
он сам создается после запуска clickhouse-copier
VB
там и что
ls -l
и его надо удалить, он не нужен в
ls -l
/etc/clickhouse-server/clickhouse-server/conf.d/zookeeper-preprocessed.xmlи его надо удалить, он не нужен в
20.4.5.36-rw-r----- 1 root root 692 Jun 17 14:57 /etc/clickhouse-server/clickhouse-server/conf.d/zookeeper-preprocessed.xml
DC
странно
он сам создается после запуска clickhouse-copier
он сам создается после запуска clickhouse-copier
бред какой-то, копир от древнего кх? which clickhouse-copier дальше смотрите куда симлинк указывает