DC
Спасибо.
Получается, что расчет интервалов начинается с 1970 года
Size: a a a
2020 June 02
SD
если память мне не изменяет я тогда issue заводил
на гитхабе? не подскажешь ссылочку? я попытался найти, но не осилил
DC
на гитхабе? не подскажешь ссылочку? я попытался найти, но не осилил
там проблема была в кол-ве партов, в таблице было 105000 тыщ партов, и мутацию такой таблицы сделать нельзя by design
D
@den_crane подскажи пожалуйста в какой величине в system.query_log поле memory_usage?
DC
@den_crane подскажи пожалуйста в какой величине в system.query_log поле memory_usage?
desc system.query_log
DC
аа, в байтах
D
спасибо 🙂
ИМ
Ребят привет, есть какие то уникумы, которых допустили в продакшновый кластер, а они начали делать на огромной таблице дистрибьютед запрос
select * from db.big_table order by event_time limit 1. Без использования индексной колонки stats_day, которая служит собственно для отсечения лишних не нужных дней из базы. У кого нибудь есть экспертиза как по рукам давать таким людям в техническом плане? Прописать может чего? И куда если чего?)
select * from db.big_table order by event_time limit 1. Без использования индексной колонки stats_day, которая служит собственно для отсечения лишних не нужных дней из базы. У кого нибудь есть экспертиза как по рукам давать таким людям в техническом плане? Прописать может чего? И куда если чего?)
SD
там проблема была в кол-ве партов, в таблице было 105000 тыщ партов, и мутацию такой таблицы сделать нельзя by design
а сколько считается много? я видел, что 10к, у меня сейчас 10.5к
DC
а сколько считается много? я видел, что 10к, у меня сейчас 10.5к
зависит от длины имени парта
DC
ошибка какая в КХ, какая в ЗК ????
AT
Ребят привет, есть какие то уникумы, которых допустили в продакшновый кластер, а они начали делать на огромной таблице дистрибьютед запрос
select * from db.big_table order by event_time limit 1. Без использования индексной колонки stats_day, которая служит собственно для отсечения лишних не нужных дней из базы. У кого нибудь есть экспертиза как по рукам давать таким людям в техническом плане? Прописать может чего? И куда если чего?)
select * from db.big_table order by event_time limit 1. Без использования индексной колонки stats_day, которая служит собственно для отсечения лишних не нужных дней из базы. У кого нибудь есть экспертиза как по рукам давать таким людям в техническом плане? Прописать может чего? И куда если чего?)
да есть возможность запретить query если не указаны определнные поля в where
pk
Ребят привет, есть какие то уникумы, которых допустили в продакшновый кластер, а они начали делать на огромной таблице дистрибьютед запрос
select * from db.big_table order by event_time limit 1. Без использования индексной колонки stats_day, которая служит собственно для отсечения лишних не нужных дней из базы. У кого нибудь есть экспертиза как по рукам давать таким людям в техническом плане? Прописать может чего? И куда если чего?)
select * from db.big_table order by event_time limit 1. Без использования индексной колонки stats_day, которая служит собственно для отсечения лишних не нужных дней из базы. У кого нибудь есть экспертиза как по рукам давать таким людям в техническом плане? Прописать может чего? И куда если чего?)
force index by date
pk
а также выдавать людям отдельных пользователей с лимитами на различные ресурсы.
ИМ
Ага, я кстати беру в расчёт этот параметр как вариант
Y
ошибка какая в КХ, какая в ЗК ????
в ЗК ошибок нет,
в КХ каждый раз логируется 25 Error'ов, начиная с такого:
void Coordination::ZooKeeper::finalize(bool, bool) - 2020.06.02 16:01:50.151518 [ 3535710 ] {} <Error> void Coordination::ZooKeeper::finalize(bool, bool): Poco::Exception. Code: 1000, e.code() = 107, e.displayText() = Net Exception: Socket is not connected, Stack trace (when copying this message, always include the lines below):
0. Poco::IOException::IOException(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x10421930 in /usr/bin/clickhouse
1. Poco::Net::NetException::NetException(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x102dfc5d in /usr/bin/clickhouse
2. ? @ 0x102fd743 in /usr/bin/clickhouse
3. Poco::Net::SocketImpl::shutdown() @ 0x102f9020 in /usr/bin/clickhouse
4. Coordination::ZooKeeper::finalize(bool, bool) @ 0xde0e130 in /usr/bin/clickhouse
5. ? @ 0xde14de1 in /usr/bin/clickhouse
6. ? @ 0xde0ec80 in /usr/bin/clickhouse
7. ThreadPoolImpl<std::__1::thread>::worker(std::__1::__list_iterator<std::__1::thread, void*>) @ 0x902526b in /usr/bin/clickhouse
8. ? @ 0x9023753 in /usr/bin/clickhouse
9. start_thread @ 0x7ea5 in /usr/lib64/libpthread-2.17.so
10. __clone @ 0xfe8dd in /usr/lib64/libc-2.17.so
(version 20.4.4.18 (official build))
в КХ каждый раз логируется 25 Error'ов, начиная с такого:
void Coordination::ZooKeeper::finalize(bool, bool) - 2020.06.02 16:01:50.151518 [ 3535710 ] {} <Error> void Coordination::ZooKeeper::finalize(bool, bool): Poco::Exception. Code: 1000, e.code() = 107, e.displayText() = Net Exception: Socket is not connected, Stack trace (when copying this message, always include the lines below):
0. Poco::IOException::IOException(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x10421930 in /usr/bin/clickhouse
1. Poco::Net::NetException::NetException(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x102dfc5d in /usr/bin/clickhouse
2. ? @ 0x102fd743 in /usr/bin/clickhouse
3. Poco::Net::SocketImpl::shutdown() @ 0x102f9020 in /usr/bin/clickhouse
4. Coordination::ZooKeeper::finalize(bool, bool) @ 0xde0e130 in /usr/bin/clickhouse
5. ? @ 0xde14de1 in /usr/bin/clickhouse
6. ? @ 0xde0ec80 in /usr/bin/clickhouse
7. ThreadPoolImpl<std::__1::thread>::worker(std::__1::__list_iterator<std::__1::thread, void*>) @ 0x902526b in /usr/bin/clickhouse
8. ? @ 0x9023753 in /usr/bin/clickhouse
9. start_thread @ 0x7ea5 in /usr/lib64/libpthread-2.17.so
10. __clone @ 0xfe8dd in /usr/lib64/libc-2.17.so
(version 20.4.4.18 (official build))
DC
Yuri
в ЗК ошибок нет,
в КХ каждый раз логируется 25 Error'ов, начиная с такого:
void Coordination::ZooKeeper::finalize(bool, bool) - 2020.06.02 16:01:50.151518 [ 3535710 ] {} <Error> void Coordination::ZooKeeper::finalize(bool, bool): Poco::Exception. Code: 1000, e.code() = 107, e.displayText() = Net Exception: Socket is not connected, Stack trace (when copying this message, always include the lines below):
0. Poco::IOException::IOException(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x10421930 in /usr/bin/clickhouse
1. Poco::Net::NetException::NetException(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x102dfc5d in /usr/bin/clickhouse
2. ? @ 0x102fd743 in /usr/bin/clickhouse
3. Poco::Net::SocketImpl::shutdown() @ 0x102f9020 in /usr/bin/clickhouse
4. Coordination::ZooKeeper::finalize(bool, bool) @ 0xde0e130 in /usr/bin/clickhouse
5. ? @ 0xde14de1 in /usr/bin/clickhouse
6. ? @ 0xde0ec80 in /usr/bin/clickhouse
7. ThreadPoolImpl<std::__1::thread>::worker(std::__1::__list_iterator<std::__1::thread, void*>) @ 0x902526b in /usr/bin/clickhouse
8. ? @ 0x9023753 in /usr/bin/clickhouse
9. start_thread @ 0x7ea5 in /usr/lib64/libpthread-2.17.so
10. __clone @ 0xfe8dd in /usr/lib64/libc-2.17.so
(version 20.4.4.18 (official build))
в КХ каждый раз логируется 25 Error'ов, начиная с такого:
void Coordination::ZooKeeper::finalize(bool, bool) - 2020.06.02 16:01:50.151518 [ 3535710 ] {} <Error> void Coordination::ZooKeeper::finalize(bool, bool): Poco::Exception. Code: 1000, e.code() = 107, e.displayText() = Net Exception: Socket is not connected, Stack trace (when copying this message, always include the lines below):
0. Poco::IOException::IOException(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x10421930 in /usr/bin/clickhouse
1. Poco::Net::NetException::NetException(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x102dfc5d in /usr/bin/clickhouse
2. ? @ 0x102fd743 in /usr/bin/clickhouse
3. Poco::Net::SocketImpl::shutdown() @ 0x102f9020 in /usr/bin/clickhouse
4. Coordination::ZooKeeper::finalize(bool, bool) @ 0xde0e130 in /usr/bin/clickhouse
5. ? @ 0xde14de1 in /usr/bin/clickhouse
6. ? @ 0xde0ec80 in /usr/bin/clickhouse
7. ThreadPoolImpl<std::__1::thread>::worker(std::__1::__list_iterator<std::__1::thread, void*>) @ 0x902526b in /usr/bin/clickhouse
8. ? @ 0x9023753 in /usr/bin/clickhouse
9. start_thread @ 0x7ea5 in /usr/lib64/libpthread-2.17.so
10. __clone @ 0xfe8dd in /usr/lib64/libc-2.17.so
(version 20.4.4.18 (official build))
зк на отдельном хосте? диски у ЗК ssd ?
Y
ssd, но на тех-же хостах где КХ. нагрузка на него мизерная
A
Всем привет ) Коллеги, а проясните пожалуйста по интеграции с мускулем: https://clickhouse.tech/docs/ru/engines/table-engines/integrations/mysql/
Я правильно понял из доки, что это штатный инструмент для перегона данных из мускуля в клик ?
Изначально задача такая: система на мускуле получает около 20к заказов в сутки, клик выбран для хранения истории постройки различных отчетов. Но задача которую я пока не понимаю как решить это периодическое пополнение клика данными без дублирования записей. Для простоты можно считать 15-20 записей в минуту приходит в систему
Я правильно понял из доки, что это штатный инструмент для перегона данных из мускуля в клик ?
Изначально задача такая: система на мускуле получает около 20к заказов в сутки, клик выбран для хранения истории постройки различных отчетов. Но задача которую я пока не понимаю как решить это периодическое пополнение клика данными без дублирования записей. Для простоты можно считать 15-20 записей в минуту приходит в систему
