DT
Всем привет! Не подскажите есть ли возможность группировать данные по неделям? Допустим беру дата сет за 3 месяца и хочу разложить его на 16 частей сгруппированных по 7 дней
Size: a a a
2020 June 08
ДА
toRelativeWeekNum - я так понимаю это то что мне нужно?
DT
Спасибо, буду знать, что попробовал все :)
ну можно конечно еще уменьшить гранулярность, я еще не уверен, если ты альтером добавлял индексы. создаются ли они для всех партов или только для новых
DT
toRelativeWeekNum - я так понимаю это то что мне нужно?
ну да, смотря какая "неделя" вам нужна
если вам подходит, то берите
если вам подходит, то берите
TM
ну можно конечно еще уменьшить гранулярность, я еще не уверен, если ты альтером добавлял индексы. создаются ли они для всех партов или только для новых
Я тут искал уже, писали, что если optimize запустить, то индексы создадутся
DT
Я тут искал уже, писали, что если optimize запустить, то индексы создадутся
а, ну тогда ок
там вроде была отдельная команда на индексы правда
там вроде была отдельная команда на индексы правда
AT
INDEX bloom_filter_v tuple(v) TYPE bloom_filter GRANULARITY 4а индексы не забыли материализовать?
TM
Al T
а индексы не забыли материализовать?
Вот может быть и забыл!
Попробую, спасибо
Попробую, спасибо
AT
по умолчанию только новые данные будут индексироваться, да это многие забывают
ДА
да спасибо, то что нужно было)
ДА
Переслано от Dmitry Titov
а, ну тогда ок
там вроде была отдельная команда на индексы правда
там вроде была отдельная команда на индексы правда
PL
А подскажите плиз как посмотреть (+ наверн почистить) очередь накопленных асинхронных инсертов?
а то прилетала корявенькая дата (=колонка партицирования)
а то прилетала корявенькая дата (=колонка партицирования)
SYSTEM FLUSH DISTRIBUTED lz.distributed_table
Received exception from server (version 20.1.10):
Code: 246. DB::Exception: Received from localhost:9000. DB::Exception: Received from 192.168.0.9:9000. DB::Exception: Partition value mismatch between two parts with the same partition ID. Existing part: 21060207-20200603_66880_121440_2570, newly added part: 21060207-20200603_1350_1350_0.
0 rows in set. Elapsed: 0.282 sec.
PL
*или просто дропать на шарде партишку?
DC
А подскажите плиз как посмотреть (+ наверн почистить) очередь накопленных асинхронных инсертов?
а то прилетала корявенькая дата (=колонка партицирования)
а то прилетала корявенькая дата (=колонка партицирования)
SYSTEM FLUSH DISTRIBUTED lz.distributed_table
Received exception from server (version 20.1.10):
Code: 246. DB::Exception: Received from localhost:9000. DB::Exception: Received from 192.168.0.9:9000. DB::Exception: Partition value mismatch between two parts with the same partition ID. Existing part: 21060207-20200603_66880_121440_2570, newly added part: 21060207-20200603_1350_1350_0.
0 rows in set. Elapsed: 0.282 sec.
.bin файлы в папке distributed таблицы
D
Коллеги, день добрый. Подскажите, пожалуйста, или помогите правильно покурить мануал по внешним словарям. Есть таблица из нее нужно вытащить ID и текст. В тексте лежит JSON, от которого нужно только одно значение. Можно ли это значение вытащить сразу, при формировании словаря или логика CH это не позволяет? Или правильно будет забрать весь JSON и парсить его самим CH? Данные берутся из MySQL
DC
А подскажите плиз как посмотреть (+ наверн почистить) очередь накопленных асинхронных инсертов?
а то прилетала корявенькая дата (=колонка партицирования)
а то прилетала корявенькая дата (=колонка партицирования)
SYSTEM FLUSH DISTRIBUTED lz.distributed_table
Received exception from server (version 20.1.10):
Code: 246. DB::Exception: Received from localhost:9000. DB::Exception: Received from 192.168.0.9:9000. DB::Exception: Partition value mismatch between two parts with the same partition ID. Existing part: 21060207-20200603_66880_121440_2570, newly added part: 21060207-20200603_1350_1350_0.
0 rows in set. Elapsed: 0.282 sec.
21060207-20200603 такого не должно быть, это баг. Какую дату вставили и какой DDL у таблицы?DC
Коллеги, день добрый. Подскажите, пожалуйста, или помогите правильно покурить мануал по внешним словарям. Есть таблица из нее нужно вытащить ID и текст. В тексте лежит JSON, от которого нужно только одно значение. Можно ли это значение вытащить сразу, при формировании словаря или логика CH это не позволяет? Или правильно будет забрать весь JSON и парсить его самим CH? Данные берутся из MySQL
можно в expression у атрибута написать выражение.
<attribute>
<name>value</name>
<type>Int32</type>
<null_value>0</null_value>
<expression>assumeNotNull(value)</expression>
</attribute>PL
21060207-20200603 такого не должно быть, это баг. Какую дату вставили и какой DDL у таблицы?на входе unixtime, прилетело некорректное ~64000
через toDate(64000) →
через toDate(64000) →
SELECT toDate(64000)
┌─toDate(64000)─┐
│ 2106-02-07 │
└───────────────┘
D
можно в expression у атрибута написать выражение.
<attribute>
<name>value</name>
<type>Int32</type>
<null_value>0</null_value>
<expression>assumeNotNull(value)</expression>
</attribute>А там можно вставить что-то вида:
JSONExtractBool(JSONExtractString(DATA,'F1'),'F2',F3'))
DC
на входе unixtime, прилетело некорректное ~64000
через toDate(64000) →
через toDate(64000) →
SELECT toDate(64000)
┌─toDate(64000)─┐
│ 2106-02-07 │
└───────────────┘
какой-то ужас бесконечный с этим КХ
какого хрена toDate принимает и дни и секунды как число
какого хрена toDate принимает и дни и секунды как число