Телеграмм чат группы clickhouse_ru страница 8243

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4400 membersпожаловаться на группу

2020 September 13

АР

Андрей Романов... in ClickHouse не тормозит

Андрей Романов

Понял, буду смотреть, спасибо

В версии 20.6.6.7 поймал такой момент, что способом описанным в документации, можно загрузить только один файл

При вставке следующих падает ошибка thrift, что не получается прочесть данные.

Решил тем, что через parquet-tools объединил всё в один файл

подскажите, нужно ли об этом куда-либо сообщить?

могу прикрепить файлы и схему таблицы, куда вставлял

источник

20:40пожаловаться #1

АР

Андрей Романов... in ClickHouse не тормозит

Андрей Романов

В версии 20.6.6.7 поймал такой момент, что способом описанным в документации, можно загрузить только один файл

При вставке следующих падает ошибка thrift, что не получается прочесть данные.

Решил тем, что через parquet-tools объединил всё в один файл

подскажите, нужно ли об этом куда-либо сообщить?

могу прикрепить файлы и схему таблицы, куда вставлял

добавлю как будет время в issues

источник

20:53пожаловаться #2

D

Dj in ClickHouse не тормозит

SELECT arrayCompact(x -> (x.1), [('a', 1), ('a', 2), ('c', 3), ('a', 1)]) AS v

┌─v─────────────┐
│ ['a','c','a'] │
└───────────────┘

Всем привет.
Может кто подскажет, есть ли вариант сравнивать в arrayCompact по x.1, но выводить весь tuple ?

Ничего не понял. Дайте пример ввода и вывода

источник

22:18пожаловаться #3

DC

Denny Crane [not a Y... in ClickHouse не тормозит

всем привет.
дергаю из словаря строку, которая была массивом строк, пока не сменила гендер 😄
[1, 2, 3] --строка есичо
нужно внутри этой строки найти совпадения с массивом нормального гендера.
что -то вроде
hasAny(JSONExtractArrayRaw('[1,2,3]'), [1])
проблема в том, что этой функции в моей версии кликхауса (19.7.3) нету.
вопрос: как это можно провернуть?

has( cast('[1,2,3]', 'Array[Int32]') ,

источник

22:18пожаловаться #4

kp

krn p in ClickHouse не тормозит

условно если тип был int32, то можно так

select arrayMap(x->toInt32(x),splitByChar(',',replaceOne(replaceOne('[1,2,3]','[',''),']','')));

но это ненадёжно конечно

Спасибо, взлетело вроде )

источник

22:19пожаловаться #5

D

Dj in ClickHouse не тормозит

Спасибо, взлетело вроде )

U Denny luchshe

источник

22:19пожаловаться #6

kp

krn p in ClickHouse не тормозит

U Denny luchshe

Тоже попробую, уже ушёл с работы ))

источник

22:22пожаловаться #7

DC

Denny Crane [not a Y... in ClickHouse не тормозит

arrayCompact как-то недоделанный, множественные аргументы принимает, а толку 0

SELECT
    arrayCompact(x -> (x.1), [('a', 1), ('a', 2), ('c', 3), ('a', 1)] AS arr) AS v,
    arrayMap(x -> (arr[indexOf(arr.1, x)]), v) AS v1

┌─v─────────────┬─v1────────────────────────┐
│ ['a','c','a'] │ [('a',1),('c',3),('a',1)] │
└───────────────┴───────────────────────────┘

а нет, это неправильно, я затупил, надо дописывать сам arrayCompact, чтобы он работал как ArrayFilter и ArraySort

SELECT arrayCompact( (x,y) -> y, arr1, arr2) AS v

источник

22:24пожаловаться #8

М

Максим in ClickHouse не тормозит

Ничего не понял. Дайте пример ввода и вывода

есть такой массив Array(Tuple(String, DateTime)), отсортированный по DateTime.
Хочу убрать из массива последовательно повторяющиеся элементы типа String, при этом результат получить в виде Tuple

источник

22:25пожаловаться #9

D

Dj in ClickHouse не тормозит

есть такой массив Array(Tuple(String, DateTime)), отсортированный по DateTime.
Хочу убрать из массива последовательно повторяющиеся элементы типа String, при этом результат получить в виде Tuple

Ooooo eto ya muchalsa, no uje vrode funkciyu sdelali

источник

22:30пожаловаться #10

D

Dj in ClickHouse не тормозит

Potom posmotryu

источник

22:30пожаловаться #11

М

Максим in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

arrayCompact как-то недоделанный, множественные аргументы принимает, а толку 0

SELECT
    arrayCompact(x -> (x.1), [('a', 1), ('a', 2), ('c', 3), ('a', 1)] AS arr) AS v,
    arrayMap(x -> (arr[indexOf(arr.1, x)]), v) AS v1

┌─v─────────────┬─v1────────────────────────┐
│ ['a','c','a'] │ [('a',1),('c',3),('a',1)] │
└───────────────┴───────────────────────────┘

а нет, это неправильно, я затупил, надо дописывать сам arrayCompact, чтобы он работал как ArrayFilter и ArraySort

SELECT arrayCompact( (x,y) -> y, arr1, arr2) AS v

с arrayMap/indexOf не совсем то выходит, что требуется. всегда берется 1-ый найденный ключ в массиве, в случае, наличия одного и того же ключа, но с разным измерением в tuple, то всегда сохранятся значения tuple из первого ключа.

SELECT
arrayCompact(x -> (x.1), [('a', 1), ('a', 2), ('c', 3), ('a', 2)] AS arr) AS v,
arrayMap(x -> (arr[indexOf(arr.1, x)]), v) AS v1,
[('a', 1), ('c', 3), ('a', 2)] AS expected_v
┌─v─────────────┬─v1────────────────────────┬─expected_v────────────────┐
│ ['a','c','a'] │ [('a',1),('c',3),('a',1)] │ [('a',1),('c',3),('a',2)] │
└───────────────┴───────────────────────────┴───────────────────────────┘

источник

22:41пожаловаться #12

DC

Denny Crane [not a Y... in ClickHouse не тормозит

с arrayMap/indexOf не совсем то выходит, что требуется. всегда берется 1-ый найденный ключ в массиве, в случае, наличия одного и того же ключа, но с разным измерением в tuple, то всегда сохранятся значения tuple из первого ключа.

SELECT
arrayCompact(x -> (x.1), [('a', 1), ('a', 2), ('c', 3), ('a', 2)] AS arr) AS v,
arrayMap(x -> (arr[indexOf(arr.1, x)]), v) AS v1,
[('a', 1), ('c', 3), ('a', 2)] AS expected_v
┌─v─────────────┬─v1────────────────────────┬─expected_v────────────────┐
│ ['a','c','a'] │ [('a',1),('c',3),('a',1)] │ [('a',1),('c',3),('a',2)] │
└───────────────┴───────────────────────────┴───────────────────────────┘

эмм, так в сообщении в конце написано

а нет это неправльно, я затупил, надо дописывать сам arrayCompact, чтобы он работал как ArrayFilter и ArraySort

источник

22:42пожаловаться #13

М

Максим in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

эмм, так в сообщении в конце написано

а нет это неправльно, я затупил, надо дописывать сам arrayCompact, чтобы он работал как ArrayFilter и ArraySort

теперь понял, извините)

источник

22:42пожаловаться #14

D

Dj in ClickHouse не тормозит

теперь понял, извините)

https://t.me/clickhouse_ru/158736

Tam vot do arrayreducebykeys i prochiye obsujdeniya. Golosuyte za tiketi pls )

【D】【J】 in ClickHouse не тормозит

вот головоломка на пятничный вечер...
есть такой, нетривиальный запрос. при большом количестве строк в оригинальных данных он:

1. тормозит так как судя по всему один массив обрабатывается в одном потоке всегда
2. падает по ООМ (жрет память как не в себя когда делает биннинг, пометил комментом), так как он по каким-то причинам не спилится (может потому что груп бай1 посередине и все в одну строку складывается).

Ваши мысли, господа?

select
arrMeasuredViolatorsAterFiltersPerPKTuple.1.1 as key1,
arrMeasuredViolatorsAterFiltersPerPKTuple.1.2 as key2,
arrayReduce('avgIf',arrMeasuredViolatorsAterFiltersPerPKTuple.2.3, arrayMap(x-> x !=-1, arrMeasuredViolatorsAterFiltersPerPKTuple.2.3 )) avgM1,
arrayReduce('avgIf',arrMeasuredViolatorsAterFiltersPerPKTuple.2.3, arrayMap(x-> x !=-1, arrMeasuredViolatorsAterFiltersPerPKTuple.2.4 )) avgM2,
length(arrMeasuredViolatorsAterFiltersPerPKTuple.2) NumOfViolations,
toString(arrMeasuredViolatorsAterFiltersPerPKTuple) debugStr
from
(
select
arrayFlatt…

источник

22:48пожаловаться #15

l

lnuynxa in ClickHouse не тормозит

https://t.me/clickhouse_ru/158736

Tam vot do arrayreducebykeys i prochiye obsujdeniya. Golosuyte za tiketi pls )

【D】【J】 in ClickHouse не тормозит

вот головоломка на пятничный вечер...
есть такой, нетривиальный запрос. при большом количестве строк в оригинальных данных он:

1. тормозит так как судя по всему один массив обрабатывается в одном потоке всегда
2. падает по ООМ (жрет память как не в себя когда делает биннинг, пометил комментом), так как он по каким-то причинам не спилится (может потому что груп бай1 посередине и все в одну строку складывается).

Ваши мысли, господа?

select
arrMeasuredViolatorsAterFiltersPerPKTuple.1.1 as key1,
arrMeasuredViolatorsAterFiltersPerPKTuple.1.2 as key2,
arrayReduce('avgIf',arrMeasuredViolatorsAterFiltersPerPKTuple.2.3, arrayMap(x-> x !=-1, arrMeasuredViolatorsAterFiltersPerPKTuple.2.3 )) avgM1,
arrayReduce('avgIf',arrMeasuredViolatorsAterFiltersPerPKTuple.2.3, arrayMap(x-> x !=-1, arrMeasuredViolatorsAterFiltersPerPKTuple.2.4 )) avgM2,
length(arrMeasuredViolatorsAterFiltersPerPKTuple.2) NumOfViolations,
toString(arrMeasuredViolatorsAterFiltersPerPKTuple) debugStr
from
(
select
arrayFlatt…

arrayReduceByKeys это же Resample почти

источник

22:54пожаловаться #16

l

lnuynxa in ClickHouse не тормозит

Я вообще думал над вариантом resample, который не бьет по бинам а просто по значению ключей складывает

источник

22:54пожаловаться #17

D

Dj in ClickHouse не тормозит

Tak byl je primer s resample. Tam vrode minus v tom chto razme znat nado

источник

23:04пожаловаться #18

l

lnuynxa in ClickHouse не тормозит

Да, ну я и говорю сделать вариант функции resample только тупо по ключам, без указания начального, конечного и шага.
Хотя минус в том что resample просто делит на группы, соотношение ключ-группа нужно самому будет поддерживать

источник

23:05пожаловаться #19

2020 September 14

D

Dj in ClickHouse не тормозит

с arrayMap/indexOf не совсем то выходит, что требуется. всегда берется 1-ый найденный ключ в массиве, в случае, наличия одного и того же ключа, но с разным измерением в tuple, то всегда сохранятся значения tuple из первого ключа.

SELECT
arrayCompact(x -> (x.1), [('a', 1), ('a', 2), ('c', 3), ('a', 2)] AS arr) AS v,
arrayMap(x -> (arr[indexOf(arr.1, x)]), v) AS v1,
[('a', 1), ('c', 3), ('a', 2)] AS expected_v
┌─v─────────────┬─v1────────────────────────┬─expected_v────────────────┐
│ ['a','c','a'] │ [('a',1),('c',3),('a',1)] │ [('a',1),('c',3),('a',2)] │
└───────────────┴───────────────────────────┴───────────────────────────┘

SELECT
    [('a', 1), ('a', 2), ('c', 3), ('a', 2)] AS arr,
    arrayDistinct(arr.1) AS uniqs,
    arrayMap(x -> (x, arrayCompact(arrayFilter(y -> ((y.1) = x), arr))), uniqs) AS binned,
    binned.2 AS finalres
FORMAT Vertical

Row 1:
──────
arr:      [('a',1),('a',2),('c',3),('a',2)]
uniqs:    ['a','c']
binned:   [('a',[('a',1),('a',2)]),('c',[('c',3)])]
finalres: [[('a',1),('a',2)],[('c',3)]]

1 rows in set. Elapsed: 0.002 sec.

в общем пока что вам только двойной перебор

источник

00:26пожаловаться #20