Size: a a a

ClickHouse не тормозит

2020 July 26

AZ

Artem Zuikov in ClickHouse не тормозит
Екатерина
а если поля для вставки называются во вью не так, как в целевой таблице, то вообще ничего не вставляется, поэтому у меня при первых испытаниях не получилось вставить
Можете сделать пример и issue на гитхабе без зависимости от данных? Какие нибудь селекты из system.numbers limit 10.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Никита Макушников
Вот у меня, скажем, лежит бэкап в папке shadow. Как мне получить список партиций? Та часть, которая идёт до нижнего пробела (_) в названии каждой директории?
system.detached_parts
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Екатерина
а если поля для вставки называются во вью не так, как в целевой таблице, то вообще ничего не вставляется, поэтому у меня при первых испытаниях не получилось вставить
Это да. Имена должны совпадать. Раньше в 19. версии была бы ошибка, теперь ошибки нет, потому что теперь можно вставлять не все поля, чтобы поля таблицы заполнялись дефолтами
источник

Е

Екатерина in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Это да. Имена должны совпадать. Раньше в 19. версии была бы ошибка, теперь ошибки нет, потому что теперь можно вставлять не все поля, чтобы поля таблицы заполнялись дефолтами
А по поводу вставки пустых значений из правой таблицы в 20.4, баг, всё-таки, не смотрели? Имена совпадают, из левой норм вставляются.
источник

Е

Екатерина in ClickHouse не тормозит
Artem Zuikov
Можете сделать пример и issue на гитхабе без зависимости от данных? Какие нибудь селекты из system.numbers limit 10.
да, могу, сегодня-завтра запилю
источник

B

Baldy in ClickHouse не тормозит
Комрады
Кто то делал репликацию данных в кликхаух через ODBC
Есть идея сделать из КликХауса быстрый враппер для медленного Oracle
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
коллеги, меня озадачил вопрос которым я никогда не задавался. в тот момент что я запускаю distributed ddl через on cluster он работает синхронно или асинхронно? как я знаю когда мой ddl выполнился на всех нодах кластера?
источник

SC

Smoked Cheese in ClickHouse не тормозит
асинхронно, но клиент по-дефолту ждёт завершения или таймаута
источник

SC

Smoked Cheese in ClickHouse не тормозит
ну и от самого запроса зависит
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
семантика конечно, но когда клиент ждет, то команда (с точки зрения клиента) синхронная
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
и без связи с семантикой, это отвечает на мой вопрос, спасибо :)
источник

РН

Ростислав Наумов... in ClickHouse не тормозит
доброе время суток
источник
2020 July 27

ТМ

Тахир Мусин... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
insert into table function s3('http://{}:{}/{}/{}', {}'CSV', '{}')
Ребята, а можно более подробную справку по этому функционалу? Я только начинаю работать с Кликхаусом. Как передавать aws acces_key и секрет?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Тахир Мусин
Ребята, а можно более подробную справку по этому функционалу? Я только начинаю работать с Кликхаусом. Как передавать aws acces_key и секрет?
вот так попробуйте
insert into table function s3('http://host/bucket/test.csv', 'access_key_id', 'secret_access_key', 'CSV') select * from system.one
источник

ТМ

Тахир Мусин... in ClickHouse не тормозит
Спасибо большое, попробую!
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Тахир Мусин
Спасибо большое, попробую!
если не получится создайте тикет на гитхабе с вопросом, я заасайню разработчика
источник

ТМ

Тахир Мусин... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
если не получится создайте тикет на гитхабе с вопросом, я заасайню разработчика
Принял, завтра уже буду пробовать, создам тикет, если не получится
источник

S

Stanislav in ClickHouse не тормозит
Всем привет. Подскажите, плиз, как скопировать БД с 8-нодного кластера на 3-нодный?
источник

S

Slach in ClickHouse не тормозит
Vladimir Mihailenco
если это реально столько читается то тогда следующий вопрос
читается в сжатом виде, распаковывается в памяти, потом получается эта цифра в 1.49Gb
=) у тебя пропускная способность памяти 17Gb/sec с наименьшей частотой, что тебя смущает? ;)
источник

S

Slach in ClickHouse не тормозит
Vladimir Mihailenco
Т.е. я ожидаю что он сначала отфильтрует 10 row и прочитает ну пускай 20-30 тысяч записей
а как по твоему должна осуществляться фильтрация?
чтобы что-то отфильтровать, это что-то сначала надо прочитать
CLickHouse сначала определяет ПАРТИЦИИ из where
и отбрасывает те которые не попадают в условие
потом для каждого куска (part) внутри партиции (partition)
идет либо чтение *.mrk  если поле входит в PK ключ и отбрасывание part
если парт не отброшен, то начинает читаться файл с колонкой, он сжатый, и колонка начинает фильтроваться в соответствии с условиями

если твоя wide_column хорошо сжимается (x5, x10) то прочитается всего 200-300 мегабайт с диска, но покажет 1.49 это вообще может быть другие колонки читаются

условие WHERE и ORDER BY у тебя точно такое же?

много чтений у тебя получается видимо (точно не знаю) потому что даже для того чтобы отфильтровать part по LIMIT 10
его надо сначала прочитать чтобы найти в нем записи которые соответствуют ранее найденным значениям внутри других колонок по которым идет WHERE


вообще в новых версиях clickhouse EXPLAIN завезли
https://github.com/ClickHouse/ClickHouse/pull/11873
попробуй поиграться для наглядности
источник