DB
Товаресчи
Size: a a a
2020 May 12
DB
Вопрос
DB
Вопрос следующий:
Есть 6 загруженных в оперативку DataFrame, (5000000,27)
Задача - соединить в один большой DataFrame, чтобы оперативка не пала смертью храбрых
Использовано: pandas.concat(), self.append(), мб что-то есть лучше
Есть 6 загруженных в оперативку DataFrame, (5000000,27)
Задача - соединить в один большой DataFrame, чтобы оперативка не пала смертью храбрых
Использовано: pandas.concat(), self.append(), мб что-то есть лучше
DB
Написано на питоне, потом грузится в Teradata
DB
У кого есть идеи и знает толк в извращениях - подскажите, плз
S
Вопрос следующий:
Есть 6 загруженных в оперативку DataFrame, (5000000,27)
Задача - соединить в один большой DataFrame, чтобы оперативка не пала смертью храбрых
Использовано: pandas.concat(), self.append(), мб что-то есть лучше
Есть 6 загруженных в оперативку DataFrame, (5000000,27)
Задача - соединить в один большой DataFrame, чтобы оперативка не пала смертью храбрых
Использовано: pandas.concat(), self.append(), мб что-то есть лучше
Оо ...надо будет следить за ходом событий. Сам нифига не знаю, но жуть, как любопытно🙈
DB
Оо ...надо будет следить за ходом событий. Сам нифига не знаю, но жуть, как любопытно🙈
Такое, судя по лесу рук, никому нафиг не надо)
V
Вопрос следующий:
Есть 6 загруженных в оперативку DataFrame, (5000000,27)
Задача - соединить в один большой DataFrame, чтобы оперативка не пала смертью храбрых
Использовано: pandas.concat(), self.append(), мб что-то есть лучше
Есть 6 загруженных в оперативку DataFrame, (5000000,27)
Задача - соединить в один большой DataFrame, чтобы оперативка не пала смертью храбрых
Использовано: pandas.concat(), self.append(), мб что-то есть лучше
в датафрейм вы их грузите из файла? или из базы? залейте все в один файл или таблицу, там отсортируйте и частями вытягивайте в нужном вам уже едином датафрейме.
DB
в датафрейм вы их грузите из файла? или из базы? залейте все в один файл или таблицу, там отсортируйте и частями вытягивайте в нужном вам уже едином датафрейме.
Гружу из 3,5к файлов
Общий объем 40 гб
Общий объем 40 гб
DB
Доступа к виртуалке нет
DB
Нужно в один Датафрейм, т.к. доступ в базу есть только на запись в одну целевую таблицу (без апдейта)
DB
так циклом собрать в один файл?
Так, а дальше?
DB
Ну, вот я собрал, дальше мне нужно выполнить предобработку перед загрузкой
V
Ну, вот я собрал, дальше мне нужно выполнить предобработку перед загрузкой
какая именно переработка? что то посчитать? Править текст?
Дt
доступа к виртуалке нет, доступа к базе нет, чем грузите то?
DB
доступа к виртуалке нет, доступа к базе нет, чем грузите то?
Доступ есть на запись в одну табличку)
Дt
веб интерфейс на питоне?