Size: a a a

ClickHouse не тормозит

2020 May 27

AK

Alex Krash in ClickHouse не тормозит
Dj
как получить сжатые данные в rowbinary, и есть ли какой то сжатый формат? нужно перекинуть между системами через экспорт-импорт
из консольного клиента
SELECT * FROM table_name FORMAT RowBinary
источник

l

lnuynxa in ClickHouse не тормозит
еще есть Native так то
источник

D

Dj in ClickHouse не тормозит
ни тот ни тот не сжатый
источник

D

Dj in ClickHouse не тормозит
с виду по крайней мере
источник

D

Dj in ClickHouse не тормозит
короче руками сжимать
источник

l

lnuynxa in ClickHouse не тормозит
ну можно через | gzip
источник

D

Dj in ClickHouse не тормозит
родного а-ла детач нету
источник

E

Eugene in ClickHouse не тормозит
Dj
как получить сжатые данные в rowbinary, и есть ли какой то сжатый формат? нужно перекинуть между системами через экспорт-импорт
SELECT * FROM table_name FORMAT Native
сохраняешь
в файл, файл сжимаешь каким-нить zip или lz4

на стороне получателя обратная операция

а почему не запросить эти данные через ODBC?
источник

v

vladamir in ClickHouse не тормозит
Konstantin Sevastianov
сделать матвью тоже replacing
а разве в этом случае, если я изменю данные в родительской таблице, они изменятся в мат вью тоже?
источник

KS

Konstantin Sevastian... in ClickHouse не тормозит
vladamir
а разве в этом случае, если я изменю данные в родительской таблице, они изменятся в мат вью тоже?
ну имеется в виду что вам нужно сделать логику схлопывания матвью в соответствии с логикой таблицы источника
источник

R

Rail in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
это просто пример чтобы показать как можно сделать, для таблицы фактов с миллионами записей конечно это не подходит, факты должны быть иммъютебл, enrichment надо делать до КХ.
охота конечно все сделать через  MV, чтобы брал сырые данные и обновлял записи
источник

A

Andrey in ClickHouse не тормозит
Ребят, а между версиями 19.17.3.7 и 20.1.2.4 не менялся ли алгоритм/параметры сжатия?
источник

AM

Alexander Malikov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
не знаю, подозреваю что мержи остановятся и будет too many parts
там на мёржи вроде свой собственный стоп есть
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
vladamir
Всем привет! А не планируется добавлять фунционал синхронизации изменений данных между мат.вью и родительской таблицей?

В качестве родительской используем ReplaceMerge и изменяем в ней данные, которые потом "схлопываются". Хотелось бы мат.вью навешать на это все добро, но вот изменения фиксироваться в МВ не будут. Или может есть лучшие практики как решаются такие ситуации в рамках кликхауса? :)
не планируется. Это невозможно, потому что все работает не так как вам представляется
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alexander Malikov
там на мёржи вроде свой собственный стоп есть
парты мержатся в определенном порядке, если парта нет из-за того что send выключен, мерж стоит и ждет пока парт скачается
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey
Ребят, а между версиями 19.17.3.7 и 20.1.2.4 не менялся ли алгоритм/параметры сжатия?
нет
источник

D

Dj in ClickHouse не тормозит
Andrey
Ребят, а между версиями 19.17.3.7 и 20.1.2.4 не менялся ли алгоритм/параметры сжатия?
если моя теория с неровным распределением между данными не оправдывает себя то вам к @den_crane, он тут по части "волшебства" =)

@den_crane человек уже "унитаз принес, зад показал, а туалетную бумагу так и не продали" =)
источник

A

Andrey in ClickHouse не тормозит
Dj
если моя теория с неровным распределением между данными не оправдывает себя то вам к @den_crane, он тут по части "волшебства" =)

@den_crane человек уже "унитаз принес, зад показал, а туалетную бумагу так и не продали" =)
😂😂 та я с утра не получил ответа, решил продублировать.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
я не читал то что утром писали, у меня утро как вы понимаете сдвинуто от вашего на 12 часов
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
тикет на гитхабе создавайте если ответ нужен
источник