Size: a a a

R (язык программирования)

2020 October 28

AS

Alexander Semenov in R (язык программирования)
Philipp Upravitelev
потому что .SD это advanced. и вполне можно без него в немалой части случаев. собственно,я его и даю как "для желающих посложнее"
Ну прикольно такое сейчас узнавать. Вот бы авторы самого dt так на своем курсе вещали.
источник

PU

Philipp Upravitelev in R (язык программирования)
>в dt ему ещё и приходится ломать голову над тем, КАК это сделать
с чего ты взял, что приходится ломать голову? О_О
группировка примитивная, фильтрация примитивная, операции над колонками примитивные
источник

IS

Ivan Struzhkov in R (язык программирования)
Andrey C.
ggplot2 тоже особняком от тайдиверс и был до нее, им активно пользуются в том числе и те, кто пайпы презирает
Я пытаюсь подчеркнуть - что важна содержательная часть преобразований и что очень круто что tidy стоит не в ваккуме а опирается на универсальные концепции по работе с данными.

И когда меня например tidy  перестал устраивать по скорости - я пошел в дататейбл с четким пониманием типов преобразований и операций, концепцией пайпов, группировок и прочего.
источник

AS

Alexander Semenov in R (язык программирования)
Ivan Struzhkov
Я пытаюсь подчеркнуть - что важна содержательная часть преобразований и что очень круто что tidy стоит не в ваккуме а опирается на универсальные концепции по работе с данными.

И когда меня например tidy  перестал устраивать по скорости - я пошел в дататейбл с четким пониманием типов преобразований и операций, концепцией пайпов, группировок и прочего.
+100

Слово в слово моя позиция по данному вопросу.
источник

АК

Артём Клевцов... in R (язык программирования)
Alexander Semenov
Я говорю про тех, кто ни датафреймов ни данных в глаза не видел. Плюс ты же сам сегодня тут сетовал, что у тебя студенты .SD не понимаю.

В tidyverse грубо говоря, 80% нагрузки уходит на смысл операций и 20% на синтаксис. А в data.table один только синтаксис 90% занимает. Студент не понимает, ЧТО ему нужно сделать с данными, чтобы из исходной формы получить желаемую, а в dt ему ещё и приходится ломать голову над тем, КАК это сделать.

Это примерно как учить квантовую хромодинамику на китайском.
Это заблуждение. Когда въезжаешь в синтаксис, на него время/ресурсы не тратятся вообще или минимально.
источник

IS

Ivan Struzhkov in R (язык программирования)
Philipp Upravitelev
>в dt ему ещё и приходится ломать голову над тем, КАК это сделать
с чего ты взял, что приходится ломать голову? О_О
группировка примитивная, фильтрация примитивная, операции над колонками примитивные
Я предположу что не сам синтаксис проблема - а что вообще делать с данными. Под дататейблом нет жесткой концепции и идеологии. Ну или я ее не пониманию
источник

AS

Alexander Semenov in R (язык программирования)
Philipp Upravitelev
>в dt ему ещё и приходится ломать голову над тем, КАК это сделать
с чего ты взял, что приходится ломать голову? О_О
группировка примитивная, фильтрация примитивная, операции над колонками примитивные
Ну значит я просто травмирован курсом от авторов dt на datacamp. С него у меня до сих пор вьетнамские флэшбеки.
источник

PU

Philipp Upravitelev in R (язык программирования)
ребят, вот честно, у меня ощущение, что вы хвалите тайдиверс за то, что он миллионом своих функций скрывает какой-то базовый функционал языка
источник

AC

Andrey C. in R (язык программирования)
Ivan Struzhkov
Я пытаюсь подчеркнуть - что важна содержательная часть преобразований и что очень круто что tidy стоит не в ваккуме а опирается на универсальные концепции по работе с данными.

И когда меня например tidy  перестал устраивать по скорости - я пошел в дататейбл с четким пониманием типов преобразований и операций, концепцией пайпов, группировок и прочего.
Так все на них опираются. Группировку и трансформацию не Хедли придумал, она есть везде даже в базовом R. Это не идеология, это базовая грамотность.
источник

PU

Philipp Upravitelev in R (язык программирования)
Andrey C.
Так все на них опираются. Группировку и трансформацию не Хедли придумал, она есть везде даже в базовом R. Это не идеология, это базовая грамотность.
+1
источник

IS

Ivan Struzhkov in R (язык программирования)
Andrey C.
Так все на них опираются. Группировку и трансформацию не Хедли придумал, она есть везде даже в базовом R. Это не идеология, это базовая грамотность.
Но хадли привязал термины концепции к конкретным инструментам. Это важно и с этим легко входить в тему
источник

AS

Alexander Semenov in R (язык программирования)
Вот-вот.
источник

AS

Alexander Semenov in R (язык программирования)
Он как бы говорит тебе: братиш, прочитай файлик, переименуй колоночки, отфильтруй ненужное, сделай новые переменные, сгруппируй, посчитай. Пошагово и чуть ли не на твоем разговорном языке.
источник

IS

Ivan Struzhkov in R (язык программирования)
Philipp Upravitelev
ребят, вот честно, у меня ощущение, что вы хвалите тайдиверс за то, что он миллионом своих функций скрывает какой-то базовый функционал языка
Я не про синтаксис вообще. Любой синтаксис не пробела, если знаешь что делать. Когда за спиной лет 5 фин моделирования в экселе, потом пара лет SQL - что DT что tidy - два вечера на синтаксис, пара недель на отработку - и погнали
источник

PU

Philipp Upravitelev in R (язык программирования)
Ivan Struzhkov
Я не про синтаксис вообще. Любой синтаксис не пробела, если знаешь что делать. Когда за спиной лет 5 фин моделирования в экселе, потом пара лет SQL - что DT что tidy - два вечера на синтаксис, пара недель на отработку - и погнали
ну так в том-то и дело
алгоритм обработки придумать - это просто интеллектуальная задача, которая слабо связана с инструментом
я своих студентов учу разбивать задачу на кусочки. типа "как выглядят данные сейчас. как они должны выглядеть. какие нам нужны промежуточные преобразования"
источник

IS

Ivan Struzhkov in R (язык программирования)
Но типичный пользователь - он не такой. Он вот октрыл первый раз R - он до этого видел как правило только визивиг эксель, и vlookup в нем делал.  и Ему нужно много по пониманию сделать. (Абстракции в голову уложить, подходы, жесткий тип данных внутри вектора, и тд) - и Хадли к таким ближе. С учетом того что для таких пользователей любой код - эльфийский язык просто.
источник

AS

Alexander Semenov in R (язык программирования)
Ага
источник

IS

Ivan Struzhkov in R (язык программирования)
Philipp Upravitelev
ну так в том-то и дело
алгоритм обработки придумать - это просто интеллектуальная задача, которая слабо связана с инструментом
я своих студентов учу разбивать задачу на кусочки. типа "как выглядят данные сейчас. как они должны выглядеть. какие нам нужны промежуточные преобразования"
Тут согласен, я про то что когда от алгоритмических подходов есть связка к близкому по терминологии синтаксису - то это помогает входить.
источник

PU

Philipp Upravitelev in R (язык программирования)
Ivan Struzhkov
Но типичный пользователь - он не такой. Он вот октрыл первый раз R - он до этого видел как правило только визивиг эксель, и vlookup в нем делал.  и Ему нужно много по пониманию сделать. (Абстракции в голову уложить, подходы, жесткий тип данных внутри вектора, и тд) - и Хадли к таким ближе. С учетом того что для таких пользователей любой код - эльфийский язык просто.
вот честно. зачем нам безграмотный аналитик?
без концепции неявного приведения типов полагаться на то, что хэдли за тебя все подумал - можно, конечно
но это отличный способ выстрелить себе в ногу
не говоря уже о том, что простейшая логика sum(с(TRUE, TRUE)) остается недоступна.

то есть это получаются какие-то костыли, которые как раз позволяют делать вид, что что-то работает. но почему работает и придумать что-то свое в таком примере получается невозможно, так как хэдли не ввел соответствующую функцию под это.
источник

IS

Ivan Struzhkov in R (язык программирования)
Philipp Upravitelev
вот честно. зачем нам безграмотный аналитик?
без концепции неявного приведения типов полагаться на то, что хэдли за тебя все подумал - можно, конечно
но это отличный способ выстрелить себе в ногу
не говоря уже о том, что простейшая логика sum(с(TRUE, TRUE)) остается недоступна.

то есть это получаются какие-то костыли, которые как раз позволяют делать вид, что что-то работает. но почему работает и придумать что-то свое в таком примере получается невозможно, так как хэдли не ввел соответствующую функцию под это.
Такой аналитик нам не нужен. Просто R не только для серьезных аналитиков. Те разберутся и в dt и base  R и прочее.

Аудитория Хадли - не профи, а менеджеры-экономисты-маркетологи, которым R тоже полезен
источник