Size: a a a

R (язык программирования)

2020 September 23

AS

Alexander Semenov in R (язык программирования)
Артём Клевцов
Интересно, а где все эти защитники и продвиженцы enterprise BI систем берут причёсанные данные, ибо с непричёсаннами данными, полагаю, будет не так весело и быстро.
Ох, рассказал бы я тебе. Да надо, чтобы пятая точка от вчерашнего поостыла.
источник

JS

Jury Sergeev in R (язык программирования)
в портянках еще виднее
источник

FA

Fyodor Alekhin in R (язык программирования)
Григорий Демин
В моих идеальных представлениях я в первый раз делаю дэшборд на шайни очень долго, но после этого у меня есть код для стандартных для данной компании визуализацией и код для расчета всех показателей. И все последующие дэшборды я могу делать копипастой довольно быстро. Или это так не работает? У меня опыта с табло нет, поэтому интересуюсь
Обычно просто данные на которых строится дешборд сильно различаются от отдела к отделу, и визуальная форма тоже довольно разнится
Допустим маркетинг и фико
Маркетинг использует анализ цен и эффект промо-акций, визуально обычно надо что то довольно простое, по типу линейной диаграммы, и bar chart для оболочки
ФиКо использует часто закрытые данные о показателях компании, и важно проводить различные YTY, MTM сравнения где оптимальным является waterfall

Ну это так простые примеры
источник

FA

Fyodor Alekhin in R (язык программирования)
Артём Клевцов
Интересно, а где все эти защитники и продвиженцы enterprise BI систем берут причёсанные данные, ибо с непричёсаннами данными, полагаю, будет не так весело и быстро.
Подготовка централизованного «чистого» хранилища ложится на плечи IT
В этом плане лучше отталкиваться от построения инфраструктуры, а какой визуальный инструмент уже не так важно
источник

FA

Fyodor Alekhin in R (язык программирования)
Юрий 🐙💻🤖📊📈🚬
А что быстрее потом и более гибкое? Сделанное мышкой или написанное кодом? Второе на мой взгляд
Ну тут это вопрос вкусовщины на самом деле
Для IT-person мне кажется не так важно
А для Buisness-person все таки лучше более user-friendly tool
источник

Ю

Юрий 🐙💻🤖📊📈🚬... in R (язык программирования)
Григорий Демин
В моих идеальных представлениях я в первый раз делаю дэшборд на шайни очень долго, но после этого у меня есть код для стандартных для данной компании визуализацией и код для расчета всех показателей. И все последующие дэшборды я могу делать копипастой довольно быстро. Или это так не работает? У меня опыта с табло нет, поэтому интересуюсь
Именно так
источник

FA

Fyodor Alekhin in R (язык программирования)
Артём Клевцов
В сбере, как в любой другой крупной организации, много чего применяется и применялось. Применительно к теме обсуждения есть доклад от сотрудник по внедрению решения, основанного на Shiny.
https://youtu.be/LQBVJ9iukG4?t=6729
YouTube
Moscow Data Science Major. 20.04.2019 | Технострим
20 апреля в московском офисе Mail.ru Group состоится весенний Moscow Data Science Major. Событие будет как pre-party предстоящего Data Fest. В программе как всегда отличные доклады, нетворкинг с ODS сообществом и разогрев перед Фестом!
___________________________

ТЕХНОСТРИМ - образовательный канал для IT специалистов.
___________________________

ПОДПИСЫВАЙСЯ, ЕСЛИ ТЕБЕ ИНТЕРЕСНО УЗНАТЬ:

✔ как наши преподаватели – топовые специалисты Mail.Ru Group руководят разработкой в таких проектах, как Почта, ВКонтакте, Облако, Maps.me, Одноклассники, и решают сложные задачи каждый день
✔ реальные примеры из практики с анализом их достоинств и недостатков
✔ современные технологии, которые применяются в проектах-лидера Рунета
✔ о митапах, мастер-классах, вебинарах и других мероприятиях, которые проводятся на базе вузов и Mail.Ru Group.  

Нажмите здесь для подписки ‣ http://www.youtube.com/TPMGTU?sub_confirmation=1

Все наши лекции проходят в ведущих вузах страны: МГУ, МГТУ, МФТИ, МИФИ, СПбПУ.  
___________________________…
Я относительно бизнеса говорил, в финансовом отделе и в продажах QS
источник

Ю

Юрий 🐙💻🤖📊📈🚬... in R (язык программирования)
Fyodor Alekhin
Ну тут это вопрос вкусовщины на самом деле
Для IT-person мне кажется не так важно
А для Buisness-person все таки лучше более user-friendly tool
Да, в каком то смысле верно и это, вопрос навыков и вкуса
источник

JS

Jury Sergeev in R (язык программирования)
Fyodor Alekhin
Обычно просто данные на которых строится дешборд сильно различаются от отдела к отделу, и визуальная форма тоже довольно разнится
Допустим маркетинг и фико
Маркетинг использует анализ цен и эффект промо-акций, визуально обычно надо что то довольно простое, по типу линейной диаграммы, и bar chart для оболочки
ФиКо использует часто закрытые данные о показателях компании, и важно проводить различные YTY, MTM сравнения где оптимальным является waterfall

Ну это так простые примеры
мы у себя 24x7 льем все что можем в DWH, и там данные уже между собой правильно ссылаются - готовы для потребителей, будь то BI, ML или просто отчеты
источник

JS

Jury Sergeev in R (язык программирования)
но это трудозатраты, да
источник

JS

Jury Sergeev in R (язык программирования)
зато экономия потом
источник

FA

Fyodor Alekhin in R (язык программирования)
Jury Sergeev
мы у себя 24x7 льем все что можем в DWH, и там данные уже между собой правильно ссылаются - готовы для потребителей, будь то BI, ML или просто отчеты
Да, я об этом и говорю
Это правильный подход в среднесрочной перспективе
источник

FA

Fyodor Alekhin in R (язык программирования)
А работать на грязных данных для одной конкретной задачи не очень обычно разумно
Как говорится это приведёт к тому что ежики будут плакать, колоться но все равно есть кактус
А о каком то data-driven подходе при таком развитии можно забыть
источник

ГД

Григорий Демин... in R (язык программирования)
Fyodor Alekhin
Обычно просто данные на которых строится дешборд сильно различаются от отдела к отделу, и визуальная форма тоже довольно разнится
Допустим маркетинг и фико
Маркетинг использует анализ цен и эффект промо-акций, визуально обычно надо что то довольно простое, по типу линейной диаграммы, и bar chart для оболочки
ФиКо использует часто закрытые данные о показателях компании, и важно проводить различные YTY, MTM сравнения где оптимальным является waterfall

Ну это так простые примеры
Еще вопрос про выбор между Shiny и tableu. Один раз мы уже выбирали и выбрали Shiny. Решающем фактором было сумма денег, которую надо заносить в tableu и в RStudio. При таком подсчете Shiny получалось дешевле. Результатом все были довольны. Но, видимо, мне  придется в очередной раз делать этот выбор уже в другой компании. Я, в принципе, ничего против tableu не имею. Но по опыту с разными другими специализированными инструментами - они прекрасно работают, когда задача под них заточена. А потом приходит какой-нибудь важный топ и говорит, что ему хочется на пересечении высот пентаграммы, образованной вершинами графика, видеть показатель перламутрового цвета. Причем показатель должен показываться только в полнолуние и если продажи за день до этого были больше, чем за день до прошлого полнолуния.  И сам показатель рассчитывается с помощью теории хаоса. И вот эта задача занимает в четыре раза больше времени, чем сделать весь остальной дэшборд. И делается невероятно мозголомно и с костылями. Насколько tableau гибкое, чтобы решать такие вопросы?
источник

AS

Alexander Semenov in R (язык программирования)
Я вам сейчас расскажу про наш data-driven подход...

Есть адовая таблица в БД с детальными данными. Из неё QS берёт данные, преобразует их в дашборд, главная часть которого для меня — таблица 80 строк на 10 колонок (регионы Х показатели). Т.к. это всё занимает кучу места в виде бинарных файлов QS, то дашборд хранится только за 2 дня.

Итого, для того, чтобы мне иметь историчность этой агрегированной таблицы 80Х10 на каждый день, совершенно другим разработчикам теперь придётся ломать голову и воспроизводить все преобразования QS средствами SQL. Ну а потом ещё, естественно, сверяться, сверяться, сверяться...
источник

AS

Alexander Semenov in R (язык программирования)
Григорий Демин
Еще вопрос про выбор между Shiny и tableu. Один раз мы уже выбирали и выбрали Shiny. Решающем фактором было сумма денег, которую надо заносить в tableu и в RStudio. При таком подсчете Shiny получалось дешевле. Результатом все были довольны. Но, видимо, мне  придется в очередной раз делать этот выбор уже в другой компании. Я, в принципе, ничего против tableu не имею. Но по опыту с разными другими специализированными инструментами - они прекрасно работают, когда задача под них заточена. А потом приходит какой-нибудь важный топ и говорит, что ему хочется на пересечении высот пентаграммы, образованной вершинами графика, видеть показатель перламутрового цвета. Причем показатель должен показываться только в полнолуние и если продажи за день до этого были больше, чем за день до прошлого полнолуния.  И сам показатель рассчитывается с помощью теории хаоса. И вот эта задача занимает в четыре раза больше времени, чем сделать весь остальной дэшборд. И делается невероятно мозголомно и с костылями. Насколько tableau гибкое, чтобы решать такие вопросы?
Интернет полнится дичайшими костылями, которые выделывают Боги Tableau, чтобы получить той или иной график. Но такой уровень мастерства и смекалки достигается лишь годами опыта.

Впрочем, есть умельцы, которые даже лет 5 назад делали очень даже симпатичные дашборды в Excel.

Но вот только какой ценой...
источник

AS

Alexander Semenov in R (язык программирования)
Григорий Демин
Еще вопрос про выбор между Shiny и tableu. Один раз мы уже выбирали и выбрали Shiny. Решающем фактором было сумма денег, которую надо заносить в tableu и в RStudio. При таком подсчете Shiny получалось дешевле. Результатом все были довольны. Но, видимо, мне  придется в очередной раз делать этот выбор уже в другой компании. Я, в принципе, ничего против tableu не имею. Но по опыту с разными другими специализированными инструментами - они прекрасно работают, когда задача под них заточена. А потом приходит какой-нибудь важный топ и говорит, что ему хочется на пересечении высот пентаграммы, образованной вершинами графика, видеть показатель перламутрового цвета. Причем показатель должен показываться только в полнолуние и если продажи за день до этого были больше, чем за день до прошлого полнолуния.  И сам показатель рассчитывается с помощью теории хаоса. И вот эта задача занимает в четыре раза больше времени, чем сделать весь остальной дэшборд. И делается невероятно мозголомно и с костылями. Насколько tableau гибкое, чтобы решать такие вопросы?
Для той же "пенгаграммы" я особым образом готовил данные в R, а потом отрисовывал в Tableau. И то не до конца был доволен результатом.
источник

AS

Anton Silchenko in R (язык программирования)
Вкачусь в дискуссию со своим опытом. Идеальный отчёт для топово это маленькая табличка, которая "объясняет всё" и возможность её раскрыть в самых разных вариантах. Даже если они этого не делают, возможность должна быть. Пока шайни не даст такой возможности без кодинга - её место это инструмент для спецов или редкие дашборды и одностраничные отчёты к примеру с картами.
источник

JS

Jury Sergeev in R (язык программирования)
... руководство, случаем, не вопрошало с упрёком - ну почему у вас (у ИТ) все так сложно??
источник

JS

Jury Sergeev in R (язык программирования)
Anton Silchenko
Вкачусь в дискуссию со своим опытом. Идеальный отчёт для топово это маленькая табличка, которая "объясняет всё" и возможность её раскрыть в самых разных вариантах. Даже если они этого не делают, возможность должна быть. Пока шайни не даст такой возможности без кодинга - её место это инструмент для спецов или редкие дашборды и одностраничные отчёты к примеру с картами.
Ну вот пентахо BI умеет в drilldown, и olap верчение, но - что бы это получить - надо неслабо так потрудиться, не говоря уж о поддержке
источник