Телеграмм чат группы clickhouse

 Code: 44, e.displayText() = DB::Exception: Argument at index 1 for function parseDateTimeBestEffort must be constant: while executing 'FUNCTION parseDateTimeBestEffort(toString(dt) : 3, tz_id : 2) -> parseDateTimeBestEffort(toString(dt), tz_id) DateTime : 6' (version 21.1.2.15 (official build))

источник

15:44пожаловаться #4

FN

Fred Navruzov in ClickHouse не тормозит

Fred Navruzov

теперь оба типа возвращают string, но появляется новая ошибка (требует константу в первій аргумент, наверное)

 Code: 44, e.displayText() = DB::Exception: Argument at index 1 for function parseDateTimeBestEffort must be constant: while executing 'FUNCTION parseDateTimeBestEffort(toString(dt) : 3, tz_id : 2) -> parseDateTimeBestEffort(toString(dt), tz_id) DateTime : 6' (version 21.1.2.15 (official build))

или это я уже туплю, и там нельзя функции накидывать, только сырую колонку подавать?
p.s. изменил на сырую колонку, безо всяких функций поверх, первым аргументом подал, но та же ошибка

Code: 44, e.displayText() = DB::Exception: Argument at index 1 for function parseDateTimeBestEffort must be constant: while executing 'FUNCTION parseDateTimeBestEffort(dt_str : 2, tz_id : 3) -> parseDateTimeBestEffort(dt_str, tz_id) DateTime : 6' (version 21.1.2.15 (official build))

источник

15:45пожаловаться #5

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Fred Navruzov

Господа, уточните, так ли работает?
если на основе таблицы делается агрегатный materialized view через populate, то вью будет содержать все данные таблицы, но автоматически обновит свои данные ТОЛЬКО при инсерте новых данных в изначальную таблицу? т.е. если в изначальной таблице поменяются старые данные (вдруг), то вью этого не отобразит?

и второй вопрос - (я предполагаю, что можно) можно ли на основе mat.view делать еще 1 mat.view, таким образом навешивая несколько последовательных триггеров на инсерт данных в изначальную таблицу - все они будут обновляться при вставке в изначальную?

https://den-crane.github.io/Everything_you_should_know_about_materialized_views_commented.pdf
https://youtu.be/1LVJ_WcLgF8?list=PLO3lfQbpDVI-hyw4MyqxEk3rDHw95SzxJ&t=7597

источник

16:17пожаловаться #6

FN

Fred Navruzov in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

https://den-crane.github.io/Everything_you_should_know_about_materialized_views_commented.pdf
https://youtu.be/1LVJ_WcLgF8?list=PLO3lfQbpDVI-hyw4MyqxEk3rDHw95SzxJ&t=7597

👍

источник

16:18пожаловаться #7

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Fred Navruzov

или это я уже туплю, и там нельзя функции накидывать, только сырую колонку подавать?
p.s. изменил на сырую колонку, безо всяких функций поверх, первым аргументом подал, но та же ошибка

Code: 44, e.displayText() = DB::Exception: Argument at index 1 for function parseDateTimeBestEffort must be constant: while executing 'FUNCTION parseDateTimeBestEffort(dt_str : 2, tz_id : 3) -> parseDateTimeBestEffort(dt_str, tz_id) DateTime : 6' (version 21.1.2.15 (official build))

TZ только константа

источник

16:18пожаловаться #8

FN

Fred Navruzov in ClickHouse не тормозит

а не подскажете, нет ли какой-то векторизированной функции, которая принимает колонку со строками (или datetime-ми) + колонку с таймзонами (строки) ?
или как ее имитировать друими способами

источник

16:19пожаловаться #9

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Yuriy Yurkiv

Добрый день. Подскажите пожалуйста:
есть таблица
user_id, ... , paid, session_id, date, ...
нужно вычислить количество бесплатных сессий до самой первой оплаты для каждого пользователя

groupArray получаем массив, обрезаем arraySlice массив по paid, находим длину массива

источник

16:20пожаловаться #10

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Fred Navruzov

а не подскажете, нет ли какой-то векторизированной функции, которая принимает колонку со строками (или datetime-ми) + колонку с таймзонами (строки) ?
или как ее имитировать друими способами

что за проблему то решаем? откуда в БД имена таймзон?

источник

16:21пожаловаться #11

FN

Fred Navruzov in ClickHouse не тормозит

Fred Navruzov

ребята, помогите пожалуйста, вопрос по таймзонам и временнОй фильтрации
есть таблица, в ней есть колонка time_local - String с локальным временем (локальная для указанной таймзоны, пример "2021-02-19 18:00:00" - 6 часов по Киеву) и колонка time_local_tz - String с с таймзонами (пример "Europe/Kiev" )

конечная цель - отфильтровать запросом "исторические данные" = взять все данные за прошедший час и ранее = для которых локальное время <

toStartOfHour( now(time_local_tz) )

т.е. если сейчас в киеве 13:50 локальное время, то должны по киеву в запрос попасть строки включительно по "2021-02-23 13:00:00" в колонке time_local. Аналогично для каждой строки со своей таймзоной

но я так понимаю, что векторизированно колонку time_local_tz в now() не передать, now(time_local_tz) не прокатит, только скаляры)? как мне для каждой строки вычислить правильный now_local() ?
возможно есть более простые/быстрые/правильные способы, как достичь конечной цели

@den_crane - вот такой вопрос изначальный
имена таймзон - так сложилось исторически :) в дейттайм колонку записалось локальное время, но как datetime('utc'), а не как datetime(local_timezone), и отдельно есть колонка timezone (string)

источник

16:22пожаловаться #12

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Fred Navruzov

@den_crane - вот такой вопрос изначальный
имена таймзон - так сложилось исторически :) в дейттайм колонку записалось локальное время, но как datetime('utc'), а не как datetime(local_timezone), и отдельно есть колонка timezone (string)

это все до КХ надо делать, хранить и локальное тоже, в отдельной колонке

в КХ заводите таблицу словарь, который в секундах заполнен offset для Europe/Kiev и для периодов
прибавляете

источник

16:24пожаловаться #13

FN

Fred Navruzov in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

это все до КХ надо делать, хранить и локальное тоже, в отдельной колонке

в КХ заводите таблицу словарь, который в секундах заполнен offset для Europe/Kiev и для периодов
прибавляете

спасибо, я уже склонялся к подобному решению, что без таблицы-словаря не обойтись, но я так понимаю что простые оффсеты в секундах (при условии 1 записи на таймзону) будут ломаться для daylight saving time, если есть перевод часов?

источник

16:26пожаловаться #14

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Fred Navruzov

спасибо, я уже склонялся к подобному решению, что без таблицы-словаря не обойтись, но я так понимаю что простые оффсеты в секундах (при условии 1 записи на таймзону) будут ломаться для daylight saving time, если есть перевод часов?

Europe/Kiev и для периодов
rangeHashed , для каждого промежутка, надо сделать запись от до
rangeHashed умеет только числа ключом, поэтому еще через один словарь придется перекодировать Europe/Kiev в число

источник

16:27пожаловаться #15

FN

Fred Navruzov in ClickHouse не тормозит

жестко )
попробуем, если нет другого варианта, получается

источник

16:28пожаловаться #16

KS

Konstantin Sevastian... in ClickHouse не тормозит

Fred Navruzov

ребята, помогите пожалуйста, вопрос по таймзонам и временнОй фильтрации
есть таблица, в ней есть колонка time_local - String с локальным временем (локальная для указанной таймзоны, пример "2021-02-19 18:00:00" - 6 часов по Киеву) и колонка time_local_tz - String с с таймзонами (пример "Europe/Kiev" )

конечная цель - отфильтровать запросом "исторические данные" = взять все данные за прошедший час и ранее = для которых локальное время <

toStartOfHour( now(time_local_tz) )

т.е. если сейчас в киеве 13:50 локальное время, то должны по киеву в запрос попасть строки включительно по "2021-02-23 13:00:00" в колонке time_local. Аналогично для каждой строки со своей таймзоной

но я так понимаю, что векторизированно колонку time_local_tz в now() не передать, now(time_local_tz) не прокатит, только скаляры)? как мне для каждой строки вычислить правильный now_local() ?
возможно есть более простые/быстрые/правильные способы, как достичь конечной цели

я мб что то упустил, из этого вам ничего не поможет?

SELECT
    now(),
    'Asia/Yekaterinburg' AS tz,
    toTimeZone(now(), 'Europe/Moscow'),
    toTimeZone(now(), tz)

Query id: 3967b8d8-9b58-4a11-9a5e-4be9be5e2e56

Row 1:
──────
now():                                   2021-02-23 13:28:03
tz:                                      Asia/Yekaterinburg
toTimeZone(now(), 'Europe/Moscow'):      2021-02-23 16:28:03
toTimeZone(now(), 'Asia/Yekaterinburg'): 2021-02-23 18:28:03

источник

16:29пожаловаться #17

FN

Fred Navruzov in ClickHouse не тормозит

Konstantin Sevastianov

я мб что то упустил, из этого вам ничего не поможет?

SELECT
    now(),
    'Asia/Yekaterinburg' AS tz,
    toTimeZone(now(), 'Europe/Moscow'),
    toTimeZone(now(), tz)

Query id: 3967b8d8-9b58-4a11-9a5e-4be9be5e2e56

Row 1:
──────
now():                                   2021-02-23 13:28:03
tz:                                      Asia/Yekaterinburg
toTimeZone(now(), 'Europe/Moscow'):      2021-02-23 16:28:03
toTimeZone(now(), 'Asia/Yekaterinburg'): 2021-02-23 18:28:03

по отдельности работает, я такое проверял, а на колоночных аргументах (векторизированно) не работает
т.е. нельзя сделать to_TimeZone(now(), колонка_с_таймзонами) - не работает , to_TimeZone(now(), конкретная_таймзона) - работает
в этом моя проблема была в том вопросе

источник

16:30пожаловаться #18

FN

Fred Navruzov in ClickHouse не тормозит

попытаю счастья еще раз (когда вариант изменить типы / флоу загрузки / предварительную обработку и т.д. не представляется возможным) 😄 :
есть таблица, в ней есть
- колонка с локальным временем (string), пример "2021-02-23 16:00:00" (по Киеву), "2021-02-23 16:00:00" (по Москве),
- колонка с локальной таймзоной (string), пример "Europe/Kiev", "Europe/Moscow" (значения для каждой строки - своё собственное)

как имея эти колонки, перейти к колонке utc_timestamp в которой будут интовые значения времени?

источник

17:32пожаловаться #19

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Fred Navruzov

попытаю счастья еще раз (когда вариант изменить типы / флоу загрузки / предварительную обработку и т.д. не представляется возможным) 😄 :
есть таблица, в ней есть
- колонка с локальным временем (string), пример "2021-02-23 16:00:00" (по Киеву), "2021-02-23 16:00:00" (по Москве),
- колонка с локальной таймзоной (string), пример "Europe/Kiev", "Europe/Moscow" (значения для каждой строки - своё собственное)

как имея эти колонки, перейти к колонке utc_timestamp в которой будут интовые значения времени?

а сколько строк?

источник

17:34пожаловаться #20