мне надо было всего-то выбрать несколько столбцов, которые затем уже нормально  помещаются в память

Имхо, такое пентахой надёжнее, она все делает чанками, потому память не жрёт, параллелизация из коробки

Попробую и так при случае

Господа и дамы биостатистики/медстатистики, можете посоветовать годные курсы по теме? Хочу собрать знания воедино + получить бумажку.

Курсера, степик...

Да это-то ясное дело, я думал, может, есть какие-то годные курсы в России, кроме Степиковских.

Это шутка? В России ничего нету

Вдруг кому интересно, небольшой фидбек. Тестировал на винде.
1) Файл весом 100 Гб (18kk x 29) на ПК с 32 Гб ОЗУ обработать таким образом можно.
2) По времени на среднем по скорости SATA SSD формирование disk.frame-а занимает порядка 1.5 ч. ОЗУ расходуется вся, но ничего не виснет и не падает. Это все с backend = "data.table" и chunk_reader = "bigreadr". Такой вариант вроде бы должен быть самым быстрым, дополнительно ускориться теоретически можно путем использования более скоростных SSD, разместив исходник и итоговую папку на разных дисках.
3) Чтобы избежать создания временных файлов на системном диске, нужно задать переменную TMPDIR (например, в .Renviron).
4) Запас места должен быть не 2-х, как можно было ожидать, а 3-х кратным, плюс место под исходный файл. В моем случае SSD на полтерабайта был забит почти полностью: 100 Гб исходник, около 90 Гб итоговая папка c .fst-файлами, и примерно 200 Гб во время работы ушло под временные файлы. Из этих 200 Гб во временной папке было видно половину, и еще 100 Гб болтались непонятно где, видимо в виде скрытых файлов каких-то.
5) Можно пожертвовать скоростью и избежать создания (всех?) временных файлов при помощи backend = "LaF".

Вариант с Apache Drill.
Запуск контейнера:

docker run --rm -ti -p 8047:8047 -v /path/to/data:/data -v /path/to/data/out:/tmp/data apache:drill

Внутри:

CREATE TABLE dfs.tmp.`/data/test.parquet` AS SELECT CAST(a AS BIGINT), CAST(b AS DOUBLE) FROM TABLE(dfs.`/data/test.csv`(type => 'text', fieldDelimiter=>',', extractHeader => true));

Память не жрёт особо. Скорость надо проверять.

гайс, привет.
пишу много на питоне и делаю еще много чего, но с R не работал.

какие либы в R являются братьями и сестрами pandas, numpy, seaborn, nltk, scikit learn, scipy?

dplyr/data.table, base, ggplot, tidytext, mlr3/caret, base

воо, супер.
спасибо тебе ❤️

Вариант с Apache Drill.
Запуск контейнера:

docker run --rm -ti -p 8047:8047 -v /path/to/data:/data -v /path/to/data/out:/tmp/data apache:drill

Внутри:

CREATE TABLE dfs.tmp.`/data/test.parquet` AS SELECT CAST(a AS BIGINT), CAST(b AS DOUBLE) FROM TABLE(dfs.`/data/test.csv`(type => 'text', fieldDelimiter=>',', extractHeader => true));

Память не жрёт особо. Скорость надо проверять.

гайс, привет.
пишу много на питоне и делаю еще много чего, но с R не работал.

какие либы в R являются братьями и сестрами pandas, numpy, seaborn, nltk, scikit learn, scipy?