Коллеги, а есть какие-то методы ускорения записи множества текстовых файлов? Чтобы вот вместо writeLines работало. Ну вроде как fwrite из data.table вместо стандартного write.table. А то я уперся в то, что 10 тысяч файлов, каждый по нескольку килобайт, пишутся уже час (во всяком случае, на MacOS).
Коллеги, а есть какие-то методы ускорения записи множества текстовых файлов? Чтобы вот вместо writeLines работало. Ну вроде как fwrite из data.table вместо стандартного write.table. А то я уперся в то, что 10 тысяч файлов, каждый по нескольку килобайт, пишутся уже час (во всяком случае, на MacOS).
Разумным выглядит использовать паралельное выполнение записи
Коллеги, а есть какие-то методы ускорения записи множества текстовых файлов? Чтобы вот вместо writeLines работало. Ну вроде как fwrite из data.table вместо стандартного write.table. А то я уперся в то, что 10 тысяч файлов, каждый по нескольку килобайт, пишутся уже час (во всяком случае, на MacOS).
что-то у вас не то, должно быстро фигачить. на маке-то. померяйте время записи 10-100 файлов. скорее всего на этапе подготовки содержимого затык
Добрый вечер. Сорри, что с опозданием, не часто сюда захожу. lubridate::force_tz(your_date, tz = 'UTC')
перед записью в Эксель. Дело в том, что R и write_xlsx считают по умолчанию, что дата в той таймзоне, что установлена в системе, а при записи переводят в UTC. Поэтому сначала нужно принудительно указать, что это уже и так UTC
Добрый вечер. Сорри, что с опозданием, не часто сюда захожу. lubridate::force_tz(your_date, tz = 'UTC')
перед записью в Эксель. Дело в том, что R и write_xlsx считают по умолчанию, что дата в той таймзоне, что установлена в системе, а при записи переводят в UTC. Поэтому сначала нужно принудительно указать, что это уже и так UTC
Приветствую, коллеги. есть вопрос. Кто-нить работал в связке PostgreSQL - R, когда вызываем R прямо из БД? У меня объемы большие и при расчете периодически просто либо виснет, либо отваливается все. (параллелизм включен). Подозреваю что отваливается по таймауту. Кто-нить встречался с такими проблемами?
надо смотреть настройки бд. возможно есть лимит на время выполнение запроса.
еще у меня была ситуация, когда я работал с горячей репликой, куда постоянно сыпались данные с мастера. там по умолчанию была настройка, что все прочие запросы дольше 30 секунд отрубаются. тоже решается настройкой конфига