Здравствуйте!
Подскажите, пожалуйста, как можно прочитать json, размером 115 ГБ
Пробовал sparklyr - spark_read_json, выдает ошибку, мол, недостаточно памяти.
Я думал, что sparklyr должен его поднимать частями и писать их на диск, но диск работает только на чтение, а не на запись.
Предложеные в Google варианты относительно увеличения MemoryOverhead и maxResultSize успехом не увенчались (

Может кто-то знает, как заставить sparklyr читать данные кусками в таком случае, подскажите, пожалуйста.
Спасибо

вероятно стоит это делать не в R, а напрямую в системном терминале утилитой вроде jq

Можно его таким образом преобразовать и сохранить в CSV, которую спарк съест без проблем.

Спасибо, попробую - отпишусь

Если в соответствующей anesthetics вы передадите +-Inf, то линия дорисуется прямо до оси, вне зависимости, задан ли у вас expand или нет. Для лог масштаба соответственно нужно использовать 0

читайте в БД. и из R уже обращаться надо в БД ( ну или наоборот)

Век живи, век учись. Благодарю!

Лучше так чем методом тыка гуглить)

О какая дичь творится, если скопировать код в R из сниппетов Слака. Никто не сталкивался? В оригинале, естественно, обычный пробел.

код мужика

Во-во.

раньше замечал, что в R studio иногда появлялись подобные символы на пустом месте, просто если код оставить. сердечко было

даже заподозрил, что кто-то влюбился

но потом прошло )

Ребят у вас было такое, что  merge, join_left, join_all   просто не видит два идентичных слова в разных базах

бывало такое, что два слова нифига не идентичные

слово и cлово, например - разные

неужели никогда c() с кириллической "с" писать не доводилось? :)

Ниразу 😎