Size: a a a

ClickHouse не тормозит

2021 February 13

СС

Саша Суббота... in ClickHouse не тормозит
Ребят, есть ли в КХ функция замены массива значений на массив значений? Что-нибудь в стиле replace(string, arr1, arr2), и каждоt вхождение элемента arr2 в строку заменяется на соотв элемент(по индексу) из arr2
источник

DT

Dmitry Titov in ClickHouse не тормозит
Саша Суббота
Ребят, есть ли в КХ функция замены массива значений на массив значений? Что-нибудь в стиле replace(string, arr1, arr2), и каждоt вхождение элемента arr2 в строку заменяется на соотв элемент(по индексу) из arr2
transform?, хотя тут не вхождения в строку
источник

СС

Саша Суббота... in ClickHouse не тормозит
Dmitry Titov
transform?, хотя тут не вхождения в строку
Спасибо!
источник

А

А in ClickHouse не тормозит
Кто знает почему, когда я выполняю команду move partition, в результате получаю ok. Но на самом деле секция не переносится. Прошло уже несколько дней после выполнения, но ничего не произошло
источник

DT

Dmitry Titov in ClickHouse не тормозит
А
Кто знает почему, когда я выполняю команду move partition, в результате получаю ok. Но на самом деле секция не переносится. Прошло уже несколько дней после выполнения, но ничего не произошло
Точно ли кликхаус смог найти партицию по выражению?

лучше использовать PARTITION ID ''
источник

А

А in ClickHouse не тормозит
Dmitry Titov
Точно ли кликхаус смог найти партицию по выражению?

лучше использовать PARTITION ID ''
Я его и использую
источник

А

А in ClickHouse не тормозит
Dmitry Titov
Точно ли кликхаус смог найти партицию по выражению?

лучше использовать PARTITION ID ''
Думаю, что ели бы не нашел, то ошибку выдал, а тут пишет что все Ок
источник

DT

Dmitry Titov in ClickHouse не тормозит
А
Думаю, что ели бы не нашел, то ошибку выдал, а тут пишет что все Ок
Если не найдет, как раз OK и напишет
источник

AD

Aleksey Demyanov in ClickHouse не тормозит
Alexey Milovidov
Переслано от Alexey Milovidov
Опубликовано видео с конференции Highload FWDays + дискуссия про базы данных с Петром Зайцевым и Андреем Бородиным:

https://www.youtube.com/watch?v=MJJfWoWJq0o

https://www.youtube.com/watch?v=4IxaVcnMm0I
YouTube
Оптимизация агрегатной функции в ClickHouse [ru] / Алексей Миловидов
Видео с онлайн-конференции Highload fwdays'20, которая прошла 17 октября 2020 года.

Описание доклада:
Что может быть проще на следующий запрос для подсчета среднего значения одного столбца? SELECT key, avg (value) FROM table GROUP BY key

Но вопрос в том, будет ли этот запрос эффективным? Какой код мог бы достичь максимального быстродействия на широком "железе"?

Страница доклада:
https://fwdays.com/event/highload-fwdays-2020/review/lets-optimize-one-aggregate-function-in-clickhouse

Больше докладов и видео по теме конференции:
https://fwdays.com/event/highload-fwdays-2020

Fwdays более 10 лет занимается организацией масштабных конференций для разработчиков таких направлений: JavaScript, .Net, Python, Data Science, PHP, QA, Highload, Architecture, DevOps, Databases.

Больше информации про актуальные события:
https://fwdays.com/events

Подписывайтесь, чтобы первыми узнавать про старт продаж билетов по самой выгодной цене:
Facebook: https://www.facebook.com/fwdays
Twitter: https://twitter.com/hlfwdaysconf
Telegram:…
Щшджзшшщбэзззююзщжг
источник

T

Tatiana in ClickHouse не тормозит
Slach
а НАДО
Зачем так категорично?
При неаккуратном использовании {uuid} в zpath можно репликацию поломать и ZooKeeper угробить
источник

S

Slach in ClickHouse не тормозит
Tatiana
Зачем так категорично?
При неаккуратном использовании {uuid} в zpath можно репликацию поломать и ZooKeeper угробить
=\ а если не использовать то при Atomic люди удаляют таблицу, и снова создают... и обламываются "потому что такая уже есть"
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Andrew Kochen
а именно настройки нет, чтоб это происходило по умолчанию?
database_atomic_wait_for_drop_and_detach_synchronously
When executing DROP or DETACH TABLE in Atomic database, wait for table data to be finally dropped or detached.

SET database_atomic_wait_for_drop_and_detach_synchronously = 1
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Konstantin Malanchev
Коллеги, как лучше?
1) SELECT uniqExact(x) FROM table
2) SELECT count() FROM (SELECT 1 FROM table GROUP BY x)
3) ...
нет однозначного ответа , зависит от данных иногда будет это быстрее иногда то
про память
https://github.com/ClickHouse/ClickHouse/issues/7895
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
А
Кто знает почему, когда я выполняю команду move partition, в результате получаю ok. Но на самом деле секция не переносится. Прошло уже несколько дней после выполнения, но ничего не произошло
потому что если неправильно написать имя партиции КХ будет молча отвечать ОК также как и в случае отсутствующей партиции, move делается моментально, это мнгновенная операция, каталог на диске просто переименовывается
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
А
Я его и использую
покажите точно вашу команду, вы видимо не понимаете что есть move partition '2020-01-01' , и есть move partition id '2020_01'
делают одно и тоже, а пишутся по разному.
источник

KM

Konstantin Malanchev in ClickHouse не тормозит
Спасибо
источник

А

А in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
покажите точно вашу команду, вы видимо не понимаете что есть move partition '2020-01-01' , и есть move partition id '2020_01'
делают одно и тоже, а пишутся по разному.
Move partition ‘202101’
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
А
Move partition ‘202101’
Поэтому вам и предлагают использовать другую команду partition id '202001'
источник

А

А in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Поэтому вам и предлагают использовать другую команду partition id '202001'
Спасибо. Попробую
источник

m

mrAndersen in ClickHouse не тормозит
Кто-то может подсказать в какую сторону копать, когда при инзертах получаются вот такие ошибки?

2021.02.13 19:43:24.322758 [ 10895 ] {} <Error> auto DB::IBackgroundJobExecutor::jobExecutingTask()::(anonymous class)::operator()() const: Code: 241, e.displayText() = DB::Exception: Memory limit (total) exceeded: would use 10.56 GiB (attempt to allocate chunk of 17416376 bytes), maximum: 10.55 GiB: (avg_value_size_hint = 1024, avg_chars_size = 1219.2, limit = 8192): (while reading column json)
источник