MK
если у вас по времени данные отсортированы, то делайте как проще
Те можно не заводить столбец с часами?
Size: a a a
2020 August 08
l
Maxim Kniazkov
А сама функция - получения часа от даты, и группировка по ней, не сильно оптимизировано?
GROUP BY toHour будет отлично работать
MK
GROUP BY toHour будет отлично работать
Спасибо!
G
ClickHouse/ClickHouse tagged: v20.3.16.165-lts
Link: https://github.com/ClickHouse/ClickHouse/releases/tag/v20.3.16.165-lts
Release notes:
Link: https://github.com/ClickHouse/ClickHouse/releases/tag/v20.3.16.165-lts
Release notes:
v20.3.16.165-lts
O
Подскажите пожалуйста, эта ошибка про нехватку оперативной памяти или памяти на диске?
Memory limit (total) exceeded: would use 956.23 MiB (attempt to allocate chunk of 4502760 bytes), maximum: 953.67 MiB
IN:INSERT INTO ...
Memory limit (total) exceeded: would use 956.23 MiB (attempt to allocate chunk of 4502760 bytes), maximum: 953.67 MiB
IN:INSERT INTO ...
l
Подскажите пожалуйста, эта ошибка про нехватку оперативной памяти или памяти на диске?
Memory limit (total) exceeded: would use 956.23 MiB (attempt to allocate chunk of 4502760 bytes), maximum: 953.67 MiB
IN:INSERT INTO ...
Memory limit (total) exceeded: would use 956.23 MiB (attempt to allocate chunk of 4502760 bytes), maximum: 953.67 MiB
IN:INSERT INTO ...
Оперативной
O
Просто у меня проблема такая:
Вставляю данные (около 50МБ) - проходит. На каком-то запросе получаю ошибку про нехватку памяти. Увеличил ограничение - сколько-то запросов прошло, снова эта же ошибка.
Как будто после каждого запроса памяти больше занято
Вставляю данные (около 50МБ) - проходит. На каком-то запросе получаю ошибку про нехватку памяти. Увеличил ограничение - сколько-то запросов прошло, снова эта же ошибка.
Как будто после каждого запроса памяти больше занято
O
И я не пойму, то ли данные на диск не складываются и хранятся в оперативке, то ли это про нехватку места на диске
O
Сами запросы больше не становятся
2020 August 09
DC
Просто у меня проблема такая:
Вставляю данные (около 50МБ) - проходит. На каком-то запросе получаю ошибку про нехватку памяти. Увеличил ограничение - сколько-то запросов прошло, снова эта же ошибка.
Как будто после каждого запроса памяти больше занято
Вставляю данные (около 50МБ) - проходит. На каком-то запросе получаю ошибку про нехватку памяти. Увеличил ограничение - сколько-то запросов прошло, снова эта же ошибка.
Как будто после каждого запроса памяти больше занято
O
Спасибо, посмотрю
ГВ
Всем привет. Кто может подсказать по словарю mongodb. В коллекции есть два поля _id и name. В _id хранится int (NumberInt). Соответственно в настройках словаря указано:
<structure>
<key>
<attribute>
<name>_id</name>
<type>Int32</type>
</attribute>
</key>
<attribute>
<name>name</name>
<type>String</type>
<null_value></null_value>
</attribute>
</structure>
Но при выполнении запроса:
SELECT dictGetString('my_dict', 'name', tuple(toInt32(1)))
Возвращается пустой рез-т, хотя по этому _Id есть данные.
В логах ошибок нет, как и в таблице dictionaries.
Версия КХ: 18.14.18
<structure>
<key>
<attribute>
<name>_id</name>
<type>Int32</type>
</attribute>
</key>
<attribute>
<name>name</name>
<type>String</type>
<null_value></null_value>
</attribute>
</structure>
Но при выполнении запроса:
SELECT dictGetString('my_dict', 'name', tuple(toInt32(1)))
Возвращается пустой рез-т, хотя по этому _Id есть данные.
В логах ошибок нет, как и в таблице dictionaries.
Версия КХ: 18.14.18
Если вдруг кому понадобится, сам разобрался. Если в монге используется user и password то этот пользователь должен быть заведен именно в той БД к который вы пытаетесь подключится. Т.е. если БД словаря "db1" а authenticationDatabase - "admin". То подключения не будет. И что самое интересное нигде об этом не будет ошибки, запрос просто будет пустой. Логи пустые.
Было бы неплохо, если бы эту тонкость отразили в документации или в настройки подключения словаря добавят БД аутентификации.
Было бы неплохо, если бы эту тонкость отразили в документации или в настройки подключения словаря добавят БД аутентификации.
v
Привет!
Есть задача в сохранении ивентов с разным числом и типами параметров... Как эту задачу лучше решить в CH? Думаю EAV неочень из-за джойнов или норм?
Есть задача в сохранении ивентов с разным числом и типами параметров... Как эту задачу лучше решить в CH? Думаю EAV неочень из-за джойнов или норм?
DC
Привет!
Есть задача в сохранении ивентов с разным числом и типами параметров... Как эту задачу лучше решить в CH? Думаю EAV неочень из-за джойнов или норм?
Есть задача в сохранении ивентов с разным числом и типами параметров... Как эту задачу лучше решить в CH? Думаю EAV неочень из-за джойнов или норм?
875 способов, в смысле всегда динамический набор параметров и ничего общего? Это не про КХ, будет тормозить.
Но можно например сделать key array(String), value array(String), можно прямо json валить в к колонку String и парсить в селектах
Но можно например сделать key array(String), value array(String), можно прямо json валить в к колонку String и парсить в селектах
v
875 способов, в смысле всегда динамический набор параметров и ничего общего? Это не про КХ, будет тормозить.
Но можно например сделать key array(String), value array(String), можно прямо json валить в к колонку String и парсить в селектах
Но можно например сделать key array(String), value array(String), можно прямо json валить в к колонку String и парсить в селектах
Спасибо! Парсинг в селектах быстро отработает?
DC
Спасибо! Парсинг в селектах быстро отработает?
нет конечно, примерно до 1000 раз медленнее чем просто колонка с числом.
берите монгу
берите монгу
v
нет конечно, примерно до 1000 раз медленнее чем просто колонка с числом.
берите монгу
берите монгу
У монго одна точка входа
DC
У монго одна точка входа
нет конечно, и вообще выбирать стор с оглядкой на такаю фигню, это какая-то жесть в кубе
v
нет конечно, и вообще выбирать стор с оглядкой на такаю фигню, это какая-то жесть в кубе
Это один из моментов, который нужно учесть... Из задания - есть 10М+ DAU, каждый по 300 событий в сутки генерит, нужно эти данные передавать в Tableue, можно с агрегацией, но не реже раза в 15 минут
DC
Это один из моментов, который нужно учесть... Из задания - есть 10М+ DAU, каждый по 300 событий в сутки генерит, нужно эти данные передавать в Tableue, можно с агрегацией, но не реже раза в 15 минут
в общем КХ создан с идеей что все данные разложены по колонкам в готовом виде. КХ Работает быстро потому что в функцию передается указатель на готовый список значений. И с точки зрения КХ единственный православный вариант решения вашей задачи это раскладывание в 400-800 колонок.