ГД
Соглашусь. Я пробовал пару раз работать, засовывая данные в sqllite, но работало неприемлемо медленно и функционально бедно. В результате всегда заканчивалось тем, что нарезал данные на много файлов (fst или qs) и работал с ними.
Size: a a a
2021 June 22
БА
А вся структура на одном серваке была?
БА
И большой ли объем
ГД
Даже на одном ноуте... По объему - сотни миллионов строк. Очень простое NLP на корпусе флибусты. Но в 16 Гб оперативы не влазит
JS
кликхаус спасет всех
JS
это какой то убер, честное слово
JS
только вот делать все в sql - трудно, все только в R - памяти не напасешься
AS
Там даже функция для скоринга данных сохранённой моделью катбуста есть.
AS
А может уже и не только катбуста
ДВ
Кто-то сказал кликхаус?))) в нём можно делать абсолютно весь data wrangling внутри одной таблицы. С джоинами только беда, уж лучше в нём причесать табилцы, выгрузить в R и помёржить их в дататейбле
AS
в нём можно делать абсолютно весь data wrangling внутри одной таблицы.
Как и в любом SQL.
AI
можно подробнее в чем беда с джоинами? Админы как раз топят за переход с Вертики на КХ, а у нас куча таблиц, которые надо джойнить в запросах
ДВ
https://clickhouse.tech/docs/ru/sql-reference/statements/select/join/#performance можно почитать. На практике если джоинить много на много - часто будете иметь OOM. Также не очень поддерживаются неявные джоины. То есть такие, где, например, надо сджоинить по диапазону (в левой табилце точная дата, в правой - начала действия и конец действия признака для ключа соединения). РСУБД здесь выигрывают
ДВ
А так у вас весёлые админы, раз сами топят. Или очень скиловые. Из-за оупенсорсности как раз с админской точки зрения с ним и тяжко.
AI
спасибо за инфу, будем изучать. Админы топят, что всё будет четко, но запросы всё же пишут аналитики
BA
Оконных функций нет (разве что упоротая реализация через массивы), джойны кастрированные, апдейтов нет, полного по Тьюрингу ЯП нет и кучи чего его нет.
По сути это просто эффективная хранилка больших данных. Засунул - выплюнул. Мы под небольшие справочники и мелко-средние всё-таки пострес начали использовать, например.
По сути это просто эффективная хранилка больших данных. Засунул - выплюнул. Мы под небольшие справочники и мелко-средние всё-таки пострес начали использовать, например.
BA
Да и разворачивать клик очень упоротая задача - зоокиперы, шарды, какой-то буфер в виде Кафки. Это удовольствие необходимо для ну очень больших данных.
AS
Ну так никто в здравом уме его в детальный слой DWH ставить и не будет.
BA
Ну так люди и говорят о том, что хотят полностью на клик переехать и аналитики делают джойны. Аналитикам придется радикально переучиваться и все на Р делать почти. А это и на производительность влияет, придется лишнее захватывать, например
BA
После SQL всё-таки синтаксис дата тэйбла вызывает панику))