Size: a a a

ClickHouse не тормозит

2020 September 18

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Sergey Mikhalev
Аргументы у вас, конечно.
вы расскажите как надо, с дизайном, а мы поржем
источник

VM

Vadim Metikov in ClickHouse не тормозит
Можно увеличить размер инзерта хоть до 100М, и тлгда каждый инзерт будет атомарным
источник

SM

Sergey Mikhalev in ClickHouse не тормозит
Уверены, что именно поржете? Продолжаете удивлять вашим уровнем культуры и аргументами.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Vadim Metikov
Можно увеличить размер инзерта хоть до 100М, и тлгда каждый инзерт будет атомарным
ну в память то он должен влезать, это у вас строки узкие, вам хорошо
источник

VM

Vadim Metikov in ClickHouse не тормозит
Если нужна атомарность,  то добавить памяти самое простое
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Sergey Mikhalev
Уверены, что именно поржете? Продолжаете удивлять вашим уровнем культуры и аргументами.
ну какие аргументы нужны? Мне например все очевидно, почему так сделано, и что по другому нельзя. Что объяснять 4488 вариантов почему нельзя по другому?
источник

D

Dj in ClickHouse не тормозит
оффтопик: я только что добился чтоб у меня два разных инсерта остались висеть вечно...
источник

D

Dj in ClickHouse не тормозит
Vadim Metikov
Если нужна атомарность,  то добавить памяти самое простое
смотрите, у нас вставляется где то по 30 млрд строк 100 колонок в день... иногда вставки падают. файлы отдельные по 1-100МБ например.
чтобы сделать в приложении, это надо очень долго копать + HA обеспечить будет сложно (в итоге сделаем то же самое хранение кешей в ЗК/консуле со своими багами), а тут из коробки...
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
тут проблема не с атомарностью ведь
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
а с тем что результат инсерта неизвестен
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
из-за таймаута
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
вставим 10 строк, в ответ таймаут, как узнать вставилось или нет?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
повторить инсерт, до успеха
источник

D

Dj in ClickHouse не тормозит
Dj
оффтопик: я только что добился чтоб у меня два разных инсерта остались висеть вечно...
все, я понял как оно работает.
@den_crane оно чистит в ЗК только по таймауту который проверяется во время инсерта.
т.е. если replicated_deduplication_window_seconds=5

я вставил
block, time
1, 0
2, 1
3, 4

they will be deduplicated forever until some brand new block arrives.

т.е. проверка на наличии дубликатов должна игнорить неочищенные блоки.

но статистически все ок. Довольно редко люди до победного инсертят тот же блок
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dj
все, я понял как оно работает.
@den_crane оно чистит в ЗК только по таймауту который проверяется во время инсерта.
т.е. если replicated_deduplication_window_seconds=5

я вставил
block, time
1, 0
2, 1
3, 4

they will be deduplicated forever until some brand new block arrives.

т.е. проверка на наличии дубликатов должна игнорить неочищенные блоки.

но статистически все ок. Довольно редко люди до победного инсертят тот же блок
источник

D

Dj in ClickHouse не тормозит
америку открыл ) пропустил...
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
я тоже ненавижу чаты, особенно с такой толпой
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
я тоже ненавижу чаты, особенно с такой толпой
вот только если сейчас это исправят предварительной проверкой инсерты будут тормозить

зато в тг поиск лучше чем в гугле, и не тормозит в отличии от слаков и тимсов
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
и там кстати сейчас переделывают, чтобы не скипать блок (на реплике) если он вставлен сразу в две реплики
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
и там кстати сейчас переделывают, чтобы не скипать блок (на реплике) если он вставлен сразу в две реплики
не понял. эт чтобы не реплицировать лишний раз по сети при вставках напрямую в несколько реплик?
источник