httr

а еще работа в этой базе отдельная песня. Надо cte и оконки и тут начинается какое то костыляние. тьфу

Так, вот недавно туда подвезли оконки. А я сижу и думаю: а на кой они мне? Я так прекрасно устроился на массивах с лмбдами, что оконки кажутся каким-то очень топорным решением)

Моё впечатление от КХ в проде: люблю его как собственного ребёнка, но иногда он меня бесит ровно также, как собственный ребёнок. КХ прекрасен, никому не посоветую, но если решитесь - будете счастливы)

ага в справке есть. а обновлять никто просто так не станет :))

всмысле в R обработать вместо оконок?

нет, делать массивы и внутри анонимными функциями делать магию. Например (самй простейший): есть таблица транзакций клиентов, нам для дальнейших расчётов нужно добавить (а не сагрегировать) колонку, в которой была бы дата первой транзакции соответсвующего клиента. Отлично - на первой итерации группируем по клиентам, сворачиваем даты транзакций в массивы, на следующей - разворачиваем массивы в одну колнку, минимальную дату из каждого массива - в другую колонку.

И это реально прямо минимум, функциями массивов с анонимными функциями можно творить магию. И очень быстро. Главное знать, как писать

хм прикольно. при случае гляну. спасибо

Да, почитайте, он очень классный))

спасибо большое))

Если архитекторы дали КХ 1 гиг оперативки, то ходить к ним смысла нет — ничего не добьётесь. Проблема не в R 100%, льём терабайты в кх без проблем. Проблема в отсутствии железа и отсутствии понимания как кх работает и что у него под капотом

R + data.table + CH убойная вещь, работает там, где остальные давно сдались

+

Без проблем пользуемся КХ + R

Лить в кх лучше помногу сразу

Я добавлю к ораторам сверху для решения вопроса. Всё-таки сходите к архитекторам и попросите у них убрать ограничение для юзера, который делает инсёрты и оставить ограничение по памяти для юзера, который делает селекты. Прямым инсёртом положить клик на лопатки сложно, тут ограничение выглядит как палка в колёса. А вот тупым селктом можно на ура положить клик (особенно если его поставили не очень крепко), так что на юзера, который делает селекты ограничение ставить точно можно.

Резюме такое: пробелма не в языке, а в архитекторах.

Просто лить csv можно из командной строки

Ага, можно даже команду в функции system написать внутри R скрипта)

я поднял КХ на личном компе ( в виртуалке на Убунте) . Выделил 12 ГБ оперативы.. Лью туда эти оба датасета и из R и из Питона даже без нарезания по чанкам, сразу по 6млн строк.
Все заливается на УРА...

Но вот на сервак где стоит ограничение 1 ГБ льет только Питон чанками по 100тыс строк через библиотеку ПандаХауз.
А в R data.table не может залить чанками по 20 тыс строк...

Датасеты одинаковые. То есть, все-таки это скорее мой код на R с ошибкой где-то...

Может проверите , все ли правильно в этой строке?
chunksize = 20000
GAaud_h[, chunk := .I %/% chunksize][, dbWriteTable(con, "GAaud_hist", .SD, append=TRUE , row.names = TRUE), by="chunk"]

Уменьшениями чанков вы делаете клику только больнее, честно

ну я и по 100тыс и по 50тыс пробовал.