Size: a a a

ClickHouse не тормозит

2021 March 15

DN

Dmitriy Novikov in ClickHouse не тормозит
Daniil Lapko
Не читал, можно ссылку?)
источник

DN

Dmitriy Novikov in ClickHouse не тормозит
Им можно верить, они шарят.
источник

DL

Daniil Lapko in ClickHouse не тормозит
спасибо
источник

DN

Dmitriy Novikov in ClickHouse не тормозит
Daniil Lapko
Да сжатые, есть таблица А условно 200гб по ней идет селект и к нему нужно заджоинить столбец из таблицы B 15гб. В теории выглядело просто учитывая, что обе таблицы имеют одинаковые ключи сортировки, но на практике не хватает памяти и очень долго по времени. Получается что джоинить вообще всегда плохая идея и нужно все нужные данные в одной таблице иметь?
Касаемо памяти, в последних версиях появился merge join, он не падает по памяти. Но работает дольше.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Danil
пытаюсь скопировать данные между таблицами на разных хостах
разница в таблицах в одной колонке:
в оригинальной значение типа строки
во второй сделал Enum8

в запросе формирую новую колонку через multiIf()

в пределах одного хоста это работает через
INSERT INTO NewTable SELECT c1, c2, (multiIf(starsWith(c3, 'file'), 0, starsWith(c3, 'directory'), 1, starsWith(c3, 'symbolic'), 2, 3) as c3 FROM OldTable


когда пытаюсь сделать через пайп из двух консольных клиентов выдаёт ошибку что ожидается Enum8 а получен Uint8

Пробовал в пайпе конвертировать в строковые имена для Enum - тогда ругается на ошибку конdертации STring в Enum8

Как можно это победить?
format Native
источник

D

Danil in ClickHouse не тормозит
задан у источника через ключ -f Native
у приёмника "INSERT INTO NewTable FORMAT Native"
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Daniil Lapko
Да сжатые, есть таблица А условно 200гб по ней идет селект и к нему нужно заджоинить столбец из таблицы B 15гб. В теории выглядело просто учитывая, что обе таблицы имеют одинаковые ключи сортировки, но на практике не хватает памяти и очень долго по времени. Получается что джоинить вообще всегда плохая идея и нужно все нужные данные в одной таблице иметь?
ключи не используются (ключи используются алгоритмом merge join, его нету в КХ)
источник

DN

Dmitriy Novikov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
ключи не используются (ключи используются алгоритмом merge join, его нету в КХ)
Разве не добавили?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dmitriy Novikov
Разве не добавили?
его очень тяжело впихнуть в pipeline КХ, даже нету в ближайших планах этого.

>Касаемо памяти, в последних версиях появился merge join, он не падает по памяти. Но работает дольше.
это не merge-join, добавлен partial merge join , он не испольует индексы (сортированность)
источник

DN

Dmitriy Novikov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
его очень тяжело впихнуть в pipeline КХ, даже нету в ближайших планах этого.

>Касаемо памяти, в последних версиях появился merge join, он не падает по памяти. Но работает дольше.
это не merge-join, добавлен partial merge join , он не испольует индексы (сортированность)
Пнл, спасибо что поправили.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Danil
задан у источника через ключ -f Native
у приёмника "INSERT INTO NewTable FORMAT Native"
а это вообще про какое поле ?
которое case ?
тогда надо cast делать
источник

D

Dj in ClickHouse не тормозит
нифига себе, с субтитрами аж )
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dj
нифига себе, с субтитрами аж )
так я же тупо читал этот текст на митапе китайском, у меня англ. на уровне дебила, старый я, помру в канаде не зная английского.
источник

DN

Dmitriy Novikov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
так я же тупо читал этот текст на митапе китайском, у меня англ. на уровне дебила, старый я, помру в канаде не зная английского.
как вы работаете и живете тогда там?)
источник

D

Danil in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
а это вообще про какое поле ?
которое case ?
тогда надо cast делать
одно из полей таблицы источника содержит строки начинающиеся с ограниченного набора значений - мне нужно перенести все данные из старой таблицы в новую заменив это поле (в примере запроса это с3) на Enum

в пределах одного хоста такая вставка работает,
но мне нужно перенести на другой
источник

D

Danil in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
а это вообще про какое поле ?
которое case ?
тогда надо cast делать
попробую через каст сделать, спасибо
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dmitriy Novikov
как вы работаете и живете тогда там?)
да всем пофиг, минимальный англ. у меня есть. Я даже поработал в 3 канадских компаниях.
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
так я же тупо читал этот текст на митапе китайском, у меня англ. на уровне дебила, старый я, помру в канаде не зная английского.
так можно ж по французски, парле ваще франсе )
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dj
так можно ж по французски, парле ваще франсе )
да, провинция двуязычная, я живу в англ. части, видимо все думают что я франкофон :)))
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
так я же тупо читал этот текст на митапе китайском, у меня англ. на уровне дебила, старый я, помру в канаде не зная английского.
я все жду когда ж кто-нибудь из альтините не поленится англ субтитры к некоторым презам которые только по русски, но неимоверно must-see =)
источник