В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

R (язык программирования)

1246 membersпожаловаться на группу
2020 October 27

JS

Jury Sergeev in R (язык программирования)
Philipp Upravitelev
у меня в одной из работ была специфичная логика - мы clickhouse использовали как хранилище данных, куда заливали уже собранные и почищенные данные от пользователей
в первую очередь потому что постгря не справлялась с такими объемами (по словам нашего дба, как там реально было - я хз)
да, это для кликхаус самое оно
источник
10:10пожаловаться#1

AS

Alexander Semenov in R (язык программирования)
Philipp Upravitelev
у меня в одной из работ была специфичная логика - мы clickhouse использовали как хранилище данных, куда заливали уже собранные и почищенные данные от пользователей
в первую очередь потому что постгря не справлялась с такими объемами (по словам нашего дба, как там реально было - я хз)
У нас также
источник
10:17пожаловаться#2

ДВ

Дмитрий Володин... in R (язык программирования)
КХ очень радует. Особенно тем, что работа там похожа на работу с таблицами в R. Стандартный подход из реляционных СУБД не очень-то работает (стоит сразу забыть про многократные джойны, а оконных функций так вообще нет). Переезжать с SQL сервера было сначала непривычно, а теперь даже не знаю, смогу ли не плеваться, если придётся снова в tsql писать. Настолько удобно и шустро.
источник
10:47пожаловаться#3

AS

Alexander Semenov in R (язык программирования)
А потом запускаешь на этом хозяйстве Графану и ждёшь по несколько минут график.
источник
10:47пожаловаться#4

AS

Alexander Semenov in R (язык программирования)
Дмитрий Володин
КХ очень радует. Особенно тем, что работа там похожа на работу с таблицами в R. Стандартный подход из реляционных СУБД не очень-то работает (стоит сразу забыть про многократные джойны, а оконных функций так вообще нет). Переезжать с SQL сервера было сначала непривычно, а теперь даже не знаю, смогу ли не плеваться, если придётся снова в tsql писать. Настолько удобно и шустро.
А как же без оконных функций? В R/Python считать?
источник
10:48пожаловаться#5

ДВ

Дмитрий Володин... in R (язык программирования)
Alexander Semenov
А как же без оконных функций? В R/Python считать?
Массивы спасают, если надо что-то сложное посчитать. А так встроенных агрегатных функций вполне хватает. argMin, argMax например.
источник
10:50пожаловаться#6

PU

Philipp Upravitelev in R (язык программирования)
Alexander Semenov
А как же без оконных функций? В R/Python считать?
к слову, я не могу сказать, что мне как-то очень часто нужны оконные функции
источник
11:02пожаловаться#7

АК

Артём Клевцов... in R (язык программирования)
Alexander Semenov
А потом запускаешь на этом хозяйстве Графану и ждёшь по несколько минут график.
Это на КХ? Я думал, оно как раз заточен на то, чтобы быстро фильтровать и агрегировать, что для дашбордов самое оно.
источник
12:24пожаловаться#8

PU

Philipp Upravitelev in R (язык программирования)
Артём Клевцов
Это на КХ? Я думал, оно как раз заточен на то, чтобы быстро фильтровать и агрегировать, что для дашбордов самое оно.
смотря сколько данных, все равно
у меня бывали запросы, которые по несколько минут работали, в терминальных случаях до часа-двух доходило
но там и агрегаты, и джойны, и фильтрация по json-строке, и импорт в R были
источник
12:30пожаловаться#9

JS

Jury Sergeev in R (язык программирования)
Артём Клевцов
Это на КХ? Я думал, оно как раз заточен на то, чтобы быстро фильтровать и агрегировать, что для дашбордов самое оно.
все так, если минуты данные отдает - то все плохо с настройками, схемами таблиц и партиционирования или запросами...
источник
12:33пожаловаться#10

JS

Jury Sergeev in R (язык программирования)
Philipp Upravitelev
смотря сколько данных, все равно
у меня бывали запросы, которые по несколько минут работали, в терминальных случаях до часа-двух доходило
но там и агрегаты, и джойны, и фильтрация по json-строке, и импорт в R были
в КХ есть многое, что бы эти вещи делать в потоке, а забирать уже готовое из материализованных представлений, например... в общем, оптимизация все равно нужна
источник
12:34пожаловаться#11

JS

Jury Sergeev in R (язык программирования)
в общем, как обычно, нет серебряной пули )
источник
12:35пожаловаться#12

PU

Philipp Upravitelev in R (язык программирования)
всегда нужна, что поделать
фраки это все, про серебряную пулю %)))
источник
12:36пожаловаться#13

PU

Philipp Upravitelev in R (язык программирования)
Jury Sergeev
в КХ есть многое, что бы эти вещи делать в потоке, а забирать уже готовое из материализованных представлений, например... в общем, оптимизация все равно нужна
это был разовый запрос на выгрузку данных, не для борды, естественно. делать под него инфраструктуру в виде агрегатов и вьюх - слишком дорого по времени, имхо
источник
12:37пожаловаться#14

JS

Jury Sergeev in R (язык программирования)
Philipp Upravitelev
это был разовый запрос на выгрузку данных, не для борды, естественно. делать под него инфраструктуру в виде агрегатов и вьюх - слишком дорого по времени, имхо
согласен, просто за КХ впрягся ))
источник
12:39пожаловаться#15

JS

Jury Sergeev in R (язык программирования)
он реально дико быстр
источник
12:39пожаловаться#16

PU

Philipp Upravitelev in R (язык программирования)
это я знаю, с этим спора нет :)))
источник
12:39пожаловаться#17

АК

Артём Клевцов... in R (язык программирования)
Кейс такой. Строк где-то 5-10 млн строк. Есть 3-5 столбцов для фильтрации с текстовыми значениями (или UUID) и датой. Задача слепить данные для дашборда: фильтрация + агрегация.
Сейчас использует постгря с партиционированием и колоночным хранилищем для самой здоровой партиции. Запросы отадёт за 3-5 секунд.
источник
12:39пожаловаться#18

PU

Philipp Upravitelev in R (язык программирования)
если у тебя сервер с bi не там же, где и бд, у тебя на пересылку данных много времени уходить будет
источник
12:40пожаловаться#19

PU

Philipp Upravitelev in R (язык программирования)
если ты спрашиваешь про оптимизацию - делай промежуточные агрегаты для дашбордов
источник
12:41пожаловаться#20