Size: a a a

R (язык программирования)

2021 May 05

ДВ

Дмитрий Володин... in R (язык программирования)
Просто возможно это сравнение тёплого с мягким. Типа вот в Р у меня так не получилось, но я сходил в постгрю и там этот датасет вертел как только можно))
источник

h

helby in R (язык программирования)
Ну был упрек, что медленно работает с данными от 100 гб, вроде

Типа норм хватает если просто нужно кучу экселек соединить
источник

ДВ

Дмитрий Володин... in R (язык программирования)
Это какие-то набросы уже пошли пятничные?))
источник

h

helby in R (язык программирования)
Не, это я в этом чате в истории сообщений прочитал
источник

ДВ

Дмитрий Володин... in R (язык программирования)
100 ГБ внутри одной локальной сессии вряд ли кто-то может в принципе. Теоретически можно разбивать датасет, вот эти ваши мэп редьюсы делать и всё-такое прочее.
источник

ДВ

Дмитрий Володин... in R (язык программирования)
Р про то, чтобы достать уже более-менее очищенные данные, доработать немного напильником, применить какой-нибудь сложный стат метод-алгоритм, запихать в модель или построить визуал.
источник

ДВ

Дмитрий Володин... in R (язык программирования)
И это применимо к любому аналитическому инструменту. Особенно in-memory
источник

ДВ

Дмитрий Володин... in R (язык программирования)
В том же питоне обязательно какой-нибудь pyspark всплывёт. Чтобы сложные вычисления на массивном датасете делать на подходящей машине и подходящим инструментом, а в питоне уже делать магию над небольшим очищенном агрегированном датасете
источник

ДВ

Дмитрий Володин... in R (язык программирования)
Короче, каждый инструмент хорош для своей области. Обрабатывать с помощью R в одной сессии на одной машине 100+ ГБ может и можно, но это забивание гвоздей микроскопом чистой воды
источник

h

helby in R (язык программирования)
Прост у меня предстоит работать с данными из биг квери

И да, я правда не набрасываю на вентилятор

Но все мне советуют вкатываться в *(тот самый язык)

А мне реально приятнее и легче Р учить, хотя со всех сторон слышится про умирание, про то что зп у тех кто на ТОМ языке может выше и всё такое
источник

h

helby in R (язык программирования)
И иногда кажется что я как маргинал в будущем останусь, не конкурентоспособным на рынке труда
источник

ДВ

Дмитрий Володин... in R (язык программирования)
Как вы в питоне собираетесь 100 гб обрабатывать, интересно мне посмотреть? И почему не работать с данными из bq в (внезапно!) в bq?
источник

ДВ

Дмитрий Володин... in R (язык программирования)
Кажется мне, здесь это обсуждалось уже, причём с вами же. Причём недавно совсем)
источник

ДВ

Дмитрий Володин... in R (язык программирования)
И вывод один - сокращайте объёмы данных, вам не нужны все 100 ГБ для построения хорошей рабочей модели, нужна небольшая часть, очищенная и агрегированная. И скорее всего её можно получить внутри bq силами bq же
источник

БА

Байкулов Антон... in R (язык программирования)
Я работаю с bq. На R. Все ок=)
источник

R

Rus in R (язык программирования)
Да. В РФ 95% коммерческих контор юзают питон, а не Р.
Вот мировая статистика популярности языков
https://pypl.github.io/PYPL.html

Но вообще , хорошо если будешь знать и этот и тот языки , тем более , что они в чем-то похожи.
источник

h

helby in R (язык программирования)
Да, но там был вопрос конкретно про модель для которой нужно 90 гб))
источник

h

helby in R (язык программирования)
Ну опять же, рассматривать Р в разрезе языков вообще не репрезентативно

Надо конкретную сферу анализа данных и дата саенс смотреть, вроде бы


И я не  много не из РФ, но да, ситуация схожая
источник

ДВ

Дмитрий Володин... in R (язык программирования)
Остановитесь и подумайте хорошенько. Скорее всего найдёте решение, как обойтисеь без 90 гб. Не найдёте? берите виртуалку со 128 гб памяти и вперёд обрабатывать на R.
источник

IY

Igor Yegin in R (язык программирования)
"Дебилы, б**ть"
источник