Телеграмм чат группы clickhouse

2020 May 25

VB

Vladimir Bunchuk in ClickHouse не тормозит

import sys
import csv

tabin = csv.reader(sys.stdin, dialect=csv.excel_tab)
commaout = csv.writer(sys.stdout, dialect=csv.excel)
for row in tabin:
commaout.writerow(row)

посмотрю, спасибо

источник

14:33пожаловаться #1

VB

Vladimir Bunchuk in ClickHouse не тормозит

Al T

можно awk или sed вставить в середину пайпа

интересно
пробну в эту сторону покопать

источник

14:33пожаловаться #2

VN

Viacheslav Nefedov in ClickHouse не тормозит

или tr - https://stackoverflow.com/questions/22419979/how-do-i-convert-a-tab-separated-values-tsv-file-to-a-comma-separated-values/22421445

Stack Overflow

How do I convert a tab-separated values (TSV) file to a comma-separated values (CSV) file in BASH?

I have some TSV files that I need to convert to CSV files. Is there any solution in BASH, e.g. using awk, to convert these? I could use sed, like this, but am worried it will make some mistakes:

s...

источник

14:34пожаловаться #3

DC

Denny Crane (I don't... in ClickHouse не тормозит

Разделитель в вертике можно кодом задать, например /03 (любой непечатный символ) потом седом таб экранировать и 03 заменить на таб

источник

14:35пожаловаться #4

PI

Pavel Ivanov in ClickHouse не тормозит

Всем привет!
Как решить такую задачу на клике:
Найти уникальных пользователей чата.
---
У нас есть таблица, в которой один столбец представлен в виде массива, в котором храняться логины пользователей чата, которые были в чате в определенный момент времени. Необходимо из выбранных строк таблицы (выбор за определенную сессию) узнать, сколько было уникальных пользователей чата за данную сессию.
---
т.е. по сути взять, склеить все массивы, взять уникальных чатеров и подсчитать их количество, как я полагаю...

источник

14:38пожаловаться #5

AT

Al T in ClickHouse не тормозит

ответ зарыт здесь - https://clickhouse.tech/docs/en/sql-reference/functions/array-functions/

clickhouse.tech

Working with Arrays - ClickHouse Documentation

Functions for Working with Arrays empty Returns 1 for an empty array, or 0 for a non-empty array. The result type is UIn

источник

14:41пожаловаться #6

PI

Pavel Ivanov in ClickHouse не тормозит

Al T

ответ зарыт здесь - https://clickhouse.tech/docs/en/sql-reference/functions/array-functions/

clickhouse.tech

Working with Arrays - ClickHouse Documentation

Functions for Working with Arrays empty Returns 1 for an empty array, or 0 for a non-empty array. The result type is UIn

там примеры с массивами которые представлены линейно, у нас таблично, т.е. в каждой строке новый массив
проблема как раз с тем, как перевести их в нужный формат, чтобы можно было применить к ним функцию...

источник

14:43пожаловаться #7

DC

Denny Crane (I don't... in ClickHouse не тормозит

Viacheslav Nefedov

import sys
import csv

tabin = csv.reader(sys.stdin, dialect=csv.excel_tab)
commaout = csv.writer(sys.stdout, dialect=csv.excel)
for row in tabin:
commaout.writerow(row)

так проблема в том что нету ни csv ни tsv. А нужен любой из них.

источник

14:44пожаловаться #8

VN

Viacheslav Nefedov in ClickHouse не тормозит

понял, поторопился

источник

14:46пожаловаться #9

A

Andrey in ClickHouse не тормозит

Pavel Ivanov

там примеры с массивами которые представлены линейно, у нас таблично, т.е. в каждой строке новый массив
проблема как раз с тем, как перевести их в нужный формат, чтобы можно было применить к ним функцию...

посмотрите на array join

источник

14:46пожаловаться #10

AT

Al T in ClickHouse не тормозит

Pavel Ivanov

там примеры с массивами которые представлены линейно, у нас таблично, т.е. в каждой строке новый массив
проблема как раз с тем, как перевести их в нужный формат, чтобы можно было применить к ним функцию...

arrayReduce как вариант

источник

14:47пожаловаться #11

AT

Al T in ClickHouse не тормозит

uniq в качестве функции естественно

источник

14:48пожаловаться #12

l

lnuynxa in ClickHouse не тормозит

Pavel Ivanov

там примеры с массивами которые представлены линейно, у нас таблично, т.е. в каждой строке новый массив
проблема как раз с тем, как перевести их в нужный формат, чтобы можно было применить к ним функцию...

flatten либо возможно можно как нибудь через groupUniqArray с суффиксами

источник

14:56пожаловаться #13

PI

Pavel Ivanov in ClickHouse не тормозит

Andrey

посмотрите на array join

спасибо, arrayJoin - развернуло массивы, а дальше дело техники 🙏

источник

15:02пожаловаться #14

OG

Oleksiy Golovko in ClickHouse не тормозит

Добрый день, есть ли возможность считать нарастающие итоги по таблице ReplacingMergeTree одним запросом? Кажется нужно копать в сторону sumState / sumMerge, но что-то никакого хорошего примера найти не могу

источник

15:23пожаловаться #15

A

Andrey in ClickHouse не тормозит

Oleksiy Golovko

Добрый день, есть ли возможность считать нарастающие итоги по таблице ReplacingMergeTree одним запросом? Кажется нужно копать в сторону sumState / sumMerge, но что-то никакого хорошего примера найти не могу

сумма чего либо по всем залитым в таблицу данным?

источник

15:29пожаловаться #16

OG

Oleksiy Golovko in ClickHouse не тормозит

да, например строчка такая: (date, n) - и хочется получить в одном запросе сумму n к каждому date с учетом всех date <= curDate

источник

15:31пожаловаться #17

A

Andrey in ClickHouse не тормозит

Oleksiy Golovko

да, например строчка такая: (date, n) - и хочется получить в одном запросе сумму n к каждому date с учетом всех date <= curDate