В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4947 membersпожаловаться на группу
2021 March 07

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Александр Загребельный
Помогло, добавил в профиль default
<output_format_parallel_formatting>0</output_format_parallel_formatting>
Архивный файл успешно создан под версией 21.2.5.5, хотя запросы выполнял от другого пользователя (он был создан запросом).
Спасибо за помощь !  А есть какие-либо минусы, побочные эффекты или ограничения у такой настройки ?
эта фича быстрее рендерит результат в строки за счет многопоточности и использования большей памяти.
источник
16:54пожаловаться#1

D

Den in ClickHouse не тормозит
Всем привет! Есть ли в CH движок, который бы чистил таблицу после выполнения select из нее? Например, кейс такой:
1. Внешняя система что-то инсертит в таблицу_1
2. Из этой таблицы_1 с определенными преобразованиями (с помощью MATERIALIZED VIEW?) перекладываем в таблицу_2
3. После успешного перекладывания в п.2 очищаем таблицу_1
источник
18:34пожаловаться#2

А

Антон 😎 in ClickHouse не тормозит
Добрый день! Подскажите пожалуйста? столкнулся с ситуацией когда делаю 'INSERT INTO orders FORMAT TSV' один и тот же файл без изменений, то проходит успешно то получаю ошибку парсинга TSV
источник
18:37пожаловаться#3

А

Антон 😎 in ClickHouse не тормозит
Вот такая ошибка, сейчас скину как выглядит файл + скрытые сивмолы ))
источник
18:37пожаловаться#4

А

Антон 😎 in ClickHouse не тормозит
источник
18:38пожаловаться#5

А

Антон 😎 in ClickHouse не тормозит
Кто значет, почему то ругается, то успешно, файл не меняется?
источник
18:39пожаловаться#6

FN

Fred Navruzov in ClickHouse не тормозит
Уважаемые знатоки, подскажите, как получить row-wise моду по array(String) колонке?

есть таблица такого вида (см. скриншот), нужно для каждой строки получить моду из массива geohashes.

Ранее для плоской структуры помогал агрегат sumMap(elem, [1]), взять оттуда 1й кортеж (ключ и кол-во встречаний) и достать  его 1й элемент (ключ)

А сейчас не понимаю, какую функцию сюда адаптировать
источник
18:39пожаловаться#7

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Den
Всем привет! Есть ли в CH движок, который бы чистил таблицу после выполнения select из нее? Например, кейс такой:
1. Внешняя система что-то инсертит в таблицу_1
2. Из этой таблицы_1 с определенными преобразованиями (с помощью MATERIALIZED VIEW?) перекладываем в таблицу_2
3. После успешного перекладывания в п.2 очищаем таблицу_1
Engine=Null делает ровно то что вы хотите
источник
18:42пожаловаться#8

DT

Dmitry Titov in ClickHouse не тормозит
Fred Navruzov
Уважаемые знатоки, подскажите, как получить row-wise моду по array(String) колонке?

есть таблица такого вида (см. скриншот), нужно для каждой строки получить моду из массива geohashes.

Ранее для плоской структуры помогал агрегат sumMap(elem, [1]), взять оттуда 1й кортеж (ключ и кол-во встречаний) и достать  его 1й элемент (ключ)

А сейчас не понимаю, какую функцию сюда адаптировать
arrayReduce() + topK
источник
18:42пожаловаться#9

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Антон 😎
Вот такая ошибка, сейчас скину как выглядит файл + скрытые сивмолы ))
--input_format_parallel_parsing=0
источник
18:43пожаловаться#10

FN

Fred Navruzov in ClickHouse не тормозит
Dmitry Titov
arrayReduce() + topK
спасибо, попробую сейчас!
источник
18:43пожаловаться#11

FN

Fred Navruzov in ClickHouse не тормозит
Dmitry Titov
arrayReduce() + topK
отлично, все заработало, спасибо за совет!
источник
18:48пожаловаться#12

DT

Dmitry Titov in ClickHouse не тормозит
Fred Navruzov
отлично, все заработало, спасибо за совет!
TopK не точная функция, в целом можно сделать ровно также как вы и делали с sumMap
источник
18:49пожаловаться#13

FN

Fred Navruzov in ClickHouse не тормозит
Dmitry Titov
TopK не точная функция, в целом можно сделать ровно также как вы и делали с sumMap
да мне там приблизительно - уже хорошо, но спасибо за предупреждение
источник
18:50пожаловаться#14

А

Антон 😎 in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
--input_format_parallel_parsing=0
Я так делаю, делал, но все то же (( может быть не правильно включаю параметр? 🙏
источник
18:54пожаловаться#15

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Антон 😎
Я так делаю, делал, но все то же (( может быть не правильно включаю параметр? 🙏
curl-м сначала добейтесь чтобы работало
источник
18:55пожаловаться#16

А

Антон 😎 in ClickHouse не тормозит
Спасибо! )
источник
18:56пожаловаться#17

DL

Daniil Lapko in ClickHouse не тормозит
Подскажите, а есть возможность вычислять разность как функция groupArrayMovingSum, для того чтобы можно было сохранить в MATERIALIZED VIEW с комбинатором -state?
источник
20:40пожаловаться#18

D

Den in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Engine=Null делает ровно то что вы хотите
Спасибо! Взлетело. Возник еще нюанс. Периодически в одном из полей (DateTime) исходной таблицы_1 бывают NULL. Из-за этого мат.вью, которое перекладывает данные в таблицу_2 периодически валится в ошибку при инсертах в таблицу_1. Пытался делать что-то такое, но на NULL в конечной таблице заменяются все значения в не зависимости - исходное значение NULL или нет:
   if(isNull(`PlannedTimeStart`), '0000-00-00 00:00:00',`PlannedTimeStart`),
   if(isNull(`PlannedTimeEnd`),'0000-00-00 00:00:00',`PlannedTimeEnd`),
   if(isNull(`FactStartDate`), '0000-00-00 00:00:00',`FactStartDate`),
   if(isNull(`FactEndDate`), '0000-00-00 00:00:00',`FactEndDate`)
возможно, нужны другие условия?
источник
22:09пожаловаться#19

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Den
Спасибо! Взлетело. Возник еще нюанс. Периодически в одном из полей (DateTime) исходной таблицы_1 бывают NULL. Из-за этого мат.вью, которое перекладывает данные в таблицу_2 периодически валится в ошибку при инсертах в таблицу_1. Пытался делать что-то такое, но на NULL в конечной таблице заменяются все значения в не зависимости - исходное значение NULL или нет:
   if(isNull(`PlannedTimeStart`), '0000-00-00 00:00:00',`PlannedTimeStart`),
   if(isNull(`PlannedTimeEnd`),'0000-00-00 00:00:00',`PlannedTimeEnd`),
   if(isNull(`FactStartDate`), '0000-00-00 00:00:00',`FactStartDate`),
   if(isNull(`FactEndDate`), '0000-00-00 00:00:00',`FactEndDate`)
возможно, нужны другие условия?
1. нельзя проверять в JDBC.
2. 0000-00-00 00:00:00 отменили, теперь только 1970-01-01
3. вы забыли заалисить имя поля в MV
4. Поле в таблицы_1 nullable?

все это делается проще: assumeNotNull(`PlannedTimeEnd`) as PlannedTimeEnd
источник
22:13пожаловаться#20