Это нормальное поведение кликхауса, когда один и тот же запрос в один момент времени отдаëт oom, а в другой момент - всë ок

мне кажется проблема в этой строке
GAaud_h[, chunk := .I %/% chunksize][, dbWriteTable(con, "GAaud_hist", .SD, append=TRUE , row.names = TRUE), by="chunk"]

вероятно , когда R отправляет первый чанк на в КХ , а потом второй чанк, то первый чанк не удаляется из оперативной памяти на Сервере , а остается .

И так в памяти копятся все чанки нарастающим итогом пока весь append на 6 млн строк не закончит работу...

У меня только один вопрос. Зачем вам здесь Р, если питон справляется? Просто проблема наверняка в ODBC драйвере, ещё в чëм-нибудь. Точно не в языке. Сейчас мы тут коллективно вам подсказать не можем, потому что предыдущее предложение. Короче, вам Р зачем для этой задачи нужен?

потому что я купился на супер видео Алексея Селезнева и написал скрипт на R который тянет эти таблицы из Google Analytics.  
Всё это нормально работает, таблички складываются на виндовз сервере  в csv  формате , а оттуда уходят в Power BI для отрисовки дашбордов.

Теперь понадобилось наладить заливку этих таблиц из GA в Кликхауз и вот мучаюсь.

Видимо придется переписывать скрипты , которые тянут данные из GA  на Питоне, что очень не хочется:)

Алексея Селезëва, скорее, судя по тематике.

Попробуйте вставлять пост запросом по http.

Ещё один вопрос, какую функцию выполняет в вашем пайплайне кликхаус, зачем он?

КХ -это не моя идея.  Так решили архитекторы ДВХ. Выполняет роль центрального хранилища для разных источников данных ( 1с, GA, другие  разные API сервера и тд)

Сходите к архитекторам и спросите, как лучше в их решение вставлять данные. Потому что  повторюсь, с великой скоростью там приходят великие проблемы по оптимизации и прочему. Ну и цепляться из power bi к кликхаусу гет запросами - так себе идея, потому что первый любит послать с короткими промежутками 3-4 запроса на обновление одной таблицы. Чем может неиллюзорно обвалить клик))

Ну и поищите нативные может библиотеки для подключения к КХ. Я не посоветую, потому что я тупо по http туда хожу со всеми запросами

так я ее и использую library(RClickhouse)

Мне просто обидно немного, что наткнувшись на проблему, которая явно не является проблемой языка, вы, пусть и неявно, разочаровываетесь в языке

а пример запроса post  через hhtp можете пожалуйста скинуть...

я в R полный ламер.

можно добавить пайплайн с перекладыванием в нужную базу. раз им так нужен кликхаус. Кликхаус с PowerBI и впрямь отстойная идея, стоит раз попробовать сразу понимаешь всю ущербность решения

я хз почему вы ругаетесь:) я нормально подключаюсь через odbc из Power BI к КХ и отчеты нормально крутятся на Сервисе Power BI  и обновляются..
Просто у нас не миллиарды строк, а миллионы и эта схема пока норм работает

для миллионов строк и постгря обычная подойдёт, я правда не понимаю, зачем здесь клик, етм более с 1ГБ памяти.

добавляем одбс и нам для обновления уже нужен шлюз на виндовой машине

1 ГБ это мне ограничение поставили, чтобы научился чанками лить... Так то конечно будет гораздо больше

Ну тут целый курс надо по curl)) в документации того же клика почитайте по вставке данных, по интерфейсам

ну да. шлюзы есть . они бесплатные:)

а вот виндовую машину включенной под шлюз  держать совсем не хчоется

я про библиотеку... запросы в Питоне я делаю через request...
А в R что используется?