Size: a a a

ClickHouse не тормозит

2020 August 12

ЕА

Егор Андреевич... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Какая версия кх? И как  Примерно выглядит запрос?
Версия 19.14, запрос:

SELECT 0 as id, toDateTime(ts, 'UTC') as ts, latitude, longitude, accuracy, source, course, altitude, speed, activityType
     FROM history
     WHERE dt >= :start AND dt <= :end AND ts > :timeStart AND ts < :timeEnd AND user = :user
     ORDER BY ts ASC
    FORMAT JSON

В тп яндекса ответили уже, что это дедлоки и решаются они обновлением кликхауса
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergey Platonov
а если помимо новых записей есть записи которые изменились?
left join и проверять каждое поле
источник

SP

Sergey Platonov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
left join и проверять каждое поле
спасибо! А вариант делать новую полную таблицу рядом, а затем дроп и переименование?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergey Platonov
а если помимо новых записей есть записи которые изменились?
Ну или просто всегда тупо вставлять все в replacingMT
источник

SP

Sergey Platonov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Ну или просто всегда тупо вставлять все в replacingMT
Спасибо! Буду тестировать.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergey Platonov
спасибо! А вариант делать новую полную таблицу рядом, а затем дроп и переименование?
можно сначала переименовать одним запросом,ьпотом дроп
Rename a to b, b to a
источник

SP

Sergey Platonov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
можно сначала переименовать одним запросом,ьпотом дроп
Rename a to b, b to a
не совсем понял, есть описание такой конструкции?
источник

SP

Sergey Platonov in ClickHouse не тормозит
пардон, понял! Сначала прочитал как дроп и ренейм вместе
источник

SP

Sergey Platonov in ClickHouse не тормозит
тогда самый быстрый вариант, вероятно, будет insert в B, Rename B to A, A to B, и Alter Table B delete While 1. И далее крутить эту карусель в нужном периоде.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Откатися сможете если не будете создавать новые таблицы и не будете alter старые
на бронепоезде? могу повторить: Откатится сможете если не будете создавать новые таблицы и не будете alter старые

ну таблцы с логами системными в  system надо будет удалить при откате в любом случае
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Egor Zagorskiy
всем добрый день. полный лог 300мб такой ошибки: https://pastebin.com/7eFmE4fd
потом КХ упал. Зукипер в порядке, насколько я вижу. что это может быть?
в ЗК такой путь есть?
Coordination::Exception: No node, path: /clickhouse/task_queue/ddl
источник

EZ

Egor Zagorskiy in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
в ЗК такой путь есть?
Coordination::Exception: No node, path: /clickhouse/task_queue/ddl
угу,
[zk: localhost:2181(CONNECTED) 2] ls /clickhouse/task_queue
[ddl]
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Egor Zagorskiy
угу,
[zk: localhost:2181(CONNECTED) 2] ls /clickhouse/task_queue
[ddl]
CH точно в тот зукипер ходит?
в конфиге КХ в zookeepeer секции есть атрибут root ?

А что точно произошло, работал работал КХ, а потом начал писать такую ошибку? Или сразу не поднялся?
источник

АК

Анатолий Костюшин... in ClickHouse не тормозит
Товарищи, подскажите пожалуйста как построить запрос что бы он возвращал числа округленные до 2 знаков после запятой, и целые числа тоже, т.е. "1" выводил как "1.00"
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Анатолий Костюшин
Товарищи, подскажите пожалуйста как построить запрос что бы он возвращал числа округленные до 2 знаков после запятой, и целые числа тоже, т.е. "1" выводил как "1.00"
ну никак, нету функций форматирования

жалкое подобие:
select toString(cast(1, 'Decimal128(2)'))
--
1.00
источник

EZ

Egor Zagorskiy in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
CH точно в тот зукипер ходит?
в конфиге КХ в zookeepeer секции есть атрибут root ?

А что точно произошло, работал работал КХ, а потом начал писать такую ошибку? Или сразу не поднялся?
делали alter table, потом через какое-то время КХ упал
источник

EZ

Egor Zagorskiy in ClickHouse не тормозит
мониторинга не было, поэтому точно момент неясен :(
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Egor Zagorskiy
делали alter table, потом через какое-то время КХ упал
т.е. сейчас все работает
источник

EZ

Egor Zagorskiy in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
т.е. сейчас все работает
после рестарта да. обновил до кучи, там старьё было
источник

EZ

Egor Zagorskiy in ClickHouse не тормозит
не старьё, но 20.1.2.4
источник