АК
И вот ещё: https://github.com/cwida/duckdb/issues/464
Тут тоже говорится, что лимит не работает.
Тут тоже говорится, что лимит не работает.
Size: a a a
2020 September 26
A
Спасибо, значит, "утка" пока что совсем неюзабельна для условной бигдаты
A
А что у нас есть рабочего, чтобы вжух и залить 100 Гб csv в БД на машине с 23 Гб памяти?
A
Я был неприятно удивлен, приходится
cut, awk и всякие csvkit использовать чтобы просто прочитать часть столбцов из большого файла.АК
Пилить на чанки.
A
fread требует аллоцировать память под всю таблицу, даже если нужно 500 Мб из 100 Гб прочитать. vroom индексирует файл полдня.
JS
Спасибо, значит, "утка" пока что совсем неюзабельна для условной бигдаты
Собсно я помчался, и таки спарк и sparklyr юзабельней пока что
A
Собсно я помчался, и таки спарк и sparklyr юзабельней пока что
без HDFS нормально работает? В смысле,
spark_read_csv(sc, "db.csv", memory = FALSE) в локальном варианте достаточно?АК
Утку вроде чинят. Есть ветка, которая не выжирает всю память.
https://github.com/cwida/duckdb/issues/825#issuecomment-699482959
https://github.com/cwida/duckdb/issues/825#issuecomment-699482959
AK
Привет! Я могу задать вопрос не по R, но находящийся рядом?😃
PU
попробуйте
JS
без HDFS нормально работает? В смысле,
spark_read_csv(sc, "db.csv", memory = FALSE) в локальном варианте достаточно?Да, норм, но я из пожатого паркета читал, оч.шустро все
A
спасибо, попробую еще и так
OS
Я был неприятно удивлен, приходится
cut, awk и всякие csvkit использовать чтобы просто прочитать часть столбцов из большого файла.
АК
GNU утилиты заоптимизированы по самое не могу и даже чуть больше.
A
Если бы еще у
awk синтаксис чуть больше был похож на нормальный ЯП, а не на машинные коды...