A
не, ну если на какой-то ОС
library(data.table) не пишет про потоки, то это можно понятьSize: a a a
2021 June 12
ДВ
Просто вы говорите, что посмотрели руководство. А в руководстве есть функция setDTthreads. Она и нужна. Дальше, я думаю, понятно, сколько потоков выставлять
A
в моем переводе нету, там довольно старые исходные виньетки использовались
R
я вот это руководство просмотрел https://t.me/rlang_ru/70770 там нет ничего про потоки
ДВ
А, да?)) не знал))
A
это 2015-2016 гг
ДВ
О пользе английского языка. Свежая информация почти всегда на английском
R
это понятно. Но если есть на русском , то почему отказываться тем более если перевод хороший... Не знал что это 2015 год
ДВ
Ответ в вашем последнем предложении. Короче, воспользуйтесь setDTthreads
R
Сделал однопоток. Все равно ошибка....
Первую таблицу на 6 млн строк нормально загрузило, а вторая не прошла...
Первую таблицу на 6 млн строк нормально загрузило, а вторая не прошла...
ДВ
Возможно оперативной памятью сервера с базой пользуется не только ваш процесс по загрузке. Возможно там ещë куча фоновых процессов (разложить по партициям, мало ли что ещë)
ДВ
Я к тому, что копать надо глубже и дело тут вряд ли в R
ДВ
К тому же есть системы управления базами данных, которые наоборот лучше работают, если вставлять много, а не по строчке. Потому что каждая вставка инициирует кучу процессов в фоне. И вот вы, не дожидаясь окончания фоновых процессов, вставляете следующую пачку. А вся оперативка занята ещё фоновой обработкой предыдущей пачки
R
сейчас залили обе эти большие таблицы по 6 млн строк через питон чанками по 100 тыс строк. Никаких проблем не возникло... А через R эти же таблицы не заливаются даже чанками по 50 тыс строк..
Думаю тут дело именно в настройках data.table в R или может в найтройках dbi ...
Думаю тут дело именно в настройках data.table в R или может в найтройках dbi ...
ДВ
Ха, у вас кликхаус. У него очень много процессов под капотом идëт. И дело тут точно не в питоне или Р
ДВ
Просто так совпало, что в момент работы питона памяти было побольше
ДВ
Полезные запросы в кликхаусе: SHOW PROCESSLIST (текущие запросы показывает с метриками, в том числе память на запрос), посмотрите системную таблицу с мëрджами (system.merges). Показывает, какие мëрджи (объединения партов, сортировка, чистка) сейчас идут на сервере. Эти мëрджи бывают очень затраты по ресурсам
R
это врядли. в питоне 100% случаев обе таблицы проходят. в R ни разу!
R
я уже долго экспериментирую:)
ДВ
Поверьте человеку, который почти 24/7 работает с кликхаусом. И попробуйте вставить данные не через DBI , а post запросом.