Ну я ориентируюсь на эту статью, вот и спросил

https://rpubs.com/msundar/large_data_analysis

Но там же дальше идёт описание пакетов для работы без загрузки в память. Правильнее сказать, что data.table/базовый R все держит в памяти, а не сам язык. А даже для dplyr есть бэкенды, которые работают без загрузки в память

Про бэкэнд, это типа spark или hadoop ?

Или я не в том направлении думаю?

Не особо шарю просто

Вроде самый распространенный - это dbplyr - SQL - бэкенд. Для Спарка тоже есть

Спасибо большое)

не совсем так. R работает только с данными в памяти. Как он их туда получил -- другой вопрос. Да и все остальные языки/интерпретаторы и пр. работают с данными в памяти. Конвейер такой.  RAM/Cache (L3/L2/L1)/ CPU. Это идет от архитектуры ЭВМ и языки здесь вообще ни при чем.

А в чем суть вопроса то? бэкенд и данные в памяти -- совсем разная вещь

не в том. Какая задача? Какая подоплека вопроса?

Ну например, я хочу АБ тесты делать сразу в R

Все данные находятся на биг квери

Данных много, и не хочется чтобы они тянулись все и всегда

Я хочу оптимизировать работу, тем чтобы написать в R рабочий скрипт, который я буду запускать при каждом анализе АБ теста, меняя только фильтрацию таблиц и некоторые параметры

Можно и в биг квери делать это, да, но я хотел бы в R попробовать сделать это

тогда весь вопрос в том, какие данные тянутся из БД в R

можно тянуть семпл, можно все целиком (если помещаются), можно агрегаты какие-то

Ну я имел ввиду, вот то что выше советовали, чтобы не все данные Р хранил в оперативке

А типа, хранил только те которые я выбираю, или типа использовал бы бэкэнд как сказали

Я нагуглил, что для такого подходят всякие fread, ff, dbplyr

ну это какая-то странная постановка вопроса. Если данные нужны не все - просто грузите часть из хранилища. где хранятся данные - на удаленном сервере или локально в файлах / БД - не так важно.

грубо говоря, не нужно делать SELECT * FROM TABLE, если данных много.

Ну я так и не собирался делать, просто даже со всеми фильтрами, обьемы большие могут быть

ну тогда лишние переменные можно выкинуть, какие-то текстовые переменные м.б. можно сократить или перекодировать в числовые.

От задачи зависит.

приветы, может помочь кто нибудь, начинаю только вникать в R и вот может кто-то поделиться кодом анализа/разбора абсолютно любой базы данных, в целом любого размера, не важно. интересно попробовать чужой код разбирать, анализирую где что и как работает. спасибо!

да неважно это все. архитектура тупа как валенок.
1. есть внешний источник (допустим,  bq)
2. можно делать локальный "кэш", если хочется (большой объем данных в запросе, большое время передачи по сети)
3. кэш может быть любом, главное, чтобы устраивал разработчика
локальная БД, apache arrow, просто файлы, ....

хорошо, если можно будет это этого кэша на конкретный процессинг вытаскивать сразу только то, что надо.+ все шлаковые колонки оставлять сразу за бортом.

Все равно все вычисления будут базироваться на данных в оперативке. ВСЕГДА И ДЛЯ ЛЮБОЙ АРХИТЕКТУРЫ

о каких объемах речь-то идет для конкретных A/B  тестов? 1-2 Гб?