Size: a a a

ClickHouse не тормозит

2020 September 28

G

Gleb in ClickHouse не тормозит
помер сервер, завис глухо, ешго хардресетил
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
ну в общем-то абсолютной гарнтии нет. КХ пока не durable (aciD).
источник

v

vladamir in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
можно с помощью MV ловить инсерты на кластере A и инсертить в таблицу T на кластере B
А если я не вставляю в распределенную таблицу, то мультиков не будет?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
vladamir
А если я не вставляю в распределенную таблицу, то мультиков не будет?
без разницы куда вставлять. И Distributed и MergTree не делают fsync, данные в ОЗУ в кеше линукса.
источник

G

Gleb in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
ну в общем-то абсолютной гарнтии нет. КХ пока не durable (aciD).
понятно, будем ждать скорее acid. те рекомендуете 3 копии держать и писать из кафка не локально а в distrebuted table?
источник

G

Gleb in ClickHouse не тормозит
рецептов нет на текущий момент?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Gleb
понятно, будем ждать скорее acid. те рекомендуете 3 копии держать и писать из кафка не локально а в distrebuted table?
писать конечно НЕ в distributed
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
кто вообще с мозгом в голове может писать в distributed
источник

G

Gleb in ClickHouse не тормозит
1. из кафка пишем как и писали локально.
2. ничего не делаем, ждем новых версий?
источник

pk

papa karlo in ClickHouse не тормозит
чорт
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Gleb
1. из кафка пишем как и писали локально.
2. ничего не делаем, ждем новых версий?
надо смотреть насколько отстает реплика и почему и делать чтобы отставала минимально.
т.е. вставляем в R1 , вставленное реплицируется в R2, R1 падает -> парт битый, качаем с R2

есть еще insert_quorum, почитайте но это лекарство что хуже болезни.
источник

DG

David Gobronidze in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
кто вообще с мозгом в голове может писать в distributed
🤔
источник

DG

David Gobronidze in ClickHouse не тормозит
Некритичное пишем, удобно
источник

G

Gleb in ClickHouse не тормозит
а может и пример успешного конфига есть где посмотреть? и постоянные есть ошибки связи с зукипером, user exeptions
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
David Gobronidze
Некритичное пишем, удобно
меня волнует сеть, и непредсказуемость, получается пишем в Distributed поток, она его пересылает в другие сервера, причем неизвестно в какие, может на реплику которая на другом конце планеты послать, а оттуда через репликацию это же самое назад поедет, а сеть не резиновая.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Gleb
а может и пример успешного конфига есть где посмотреть? и постоянные есть ошибки связи с зукипером, user exeptions
warning ?
источник

DG

David Gobronidze in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
меня волнует сеть, и непредсказуемость, получается пишем в Distributed поток, она его пересылает в другие сервера, причем неизвестно в какие, может на реплику которая на другом конце планеты послать, а оттуда через репликацию это же самое назад поедет, а сеть не резиновая.
Ну, у нас все относительно предсказуемо, посему не паримся
источник

G

Gleb in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
меня волнует сеть, и непредсказуемость, получается пишем в Distributed поток, она его пересылает в другие сервера, причем неизвестно в какие, может на реплику которая на другом конце планеты послать, а оттуда через репликацию это же самое назад поедет, а сеть не резиновая.
пишем локально сейчас
источник

G

Gleb in ClickHouse не тормозит
завтра подробнее по ошибкам синхронизации подготовлю логи
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
David Gobronidze
Ну, у нас все относительно предсказуемо, посему не паримся
ну и Distributed при ошибке повторяет insert  до успеха, т.е. до бесконечности, и таким образом я видел как пользователи умудряются наплодить бесконечное кол-во дубликатов. Ну и трата CPU тоже.
источник