Size: a a a

AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

2020 November 09

КЧ

Кирилл Чертоганов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Гоп стоп какой-то
источник

DD

David Dale in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Кирилл Чертоганов
Ребят, такое бывает, что ошибка падает, а точность вообще 0?
Конечно, бывает. Например, если в бинарной классификации на каком-то объекте у тебя предсказанная вероятность правильного класса выросла с 10% до 30%, то лосс cross entropy падает с -log(0.1) до -log(0.3), а точность как была 0, так и осталась.
источник

SL

Sergey L in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Может ли кто поделиться опытом формата, когда имеет смысл прекратить тюнить модель, и счесть это за окончательный результат в контексте повышения точности решения задачи.
Например, в ходе тюнинга с разными подходами, вышло 95-99% и насколько разумно бороться дальше, чтоб дойти до 99.99%, если такое возможно? Есть у кого-то Rule of Thumb, когда остановиться?
Исключая метрики: время разработки; бюджет, потраченный на разработку
источник

DK

Danil Kalinin in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Кирилл Чертоганов
Ребят, такое бывает, что ошибка падает, а точность вообще 0?
TF?
источник

EZ

Evgenii Zheltonozhsk... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Sergey L
Может ли кто поделиться опытом формата, когда имеет смысл прекратить тюнить модель, и счесть это за окончательный результат в контексте повышения точности решения задачи.
Например, в ходе тюнинга с разными подходами, вышло 95-99% и насколько разумно бороться дальше, чтоб дойти до 99.99%, если такое возможно? Есть у кого-то Rule of Thumb, когда остановиться?
Исключая метрики: время разработки; бюджет, потраченный на разработку
если реальная задача то по реальным метрикам: затраты на улучшение вс. профит
источник

EZ

Evgenii Zheltonozhsk... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
если игрушечная/кагловая/научная то когда надоест
источник

SL

Sergey L in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Evgenii Zheltonozhskii🇮🇱
если реальная задача то по реальным метрикам: затраты на улучшение вс. профит
спс, за ответ.
В общем, классика
источник

at

anton timofeev in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
источник

at

anton timofeev in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Всем привет!

Я намучался с ворохом jupyter-ноутбуков и обучением джуниор-аналитиков одному и тому же и задумался о создании собственного low-code инструмента.

Кому-нибудь будет интересно пользоваться сервисом, примерно как на макете?
источник

AY

Alexey Yurasov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
anton timofeev
Красиво👍
Это какой то сборщик отчетов?
источник

at

anton timofeev in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Alexey Yurasov
Красиво👍
Это какой то сборщик отчетов?
Спасибо) Идея чуть шире - дать возможность работать с частоиспользуемыми компонентами и блоками кода визуально
источник

SP

Straxoff Pavel in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Подскажите, а как в спарке через show() увидеть все объекты внутри json массива?

тоесть есть json

{[result{object1}...{objectN}]}

show показывает только одну строку и непонятно какую

Пробовал в option ставить multiline true и не помогло
источник

АР

Андрей Романов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Straxoff Pavel
Подскажите, а как в спарке через show() увидеть все объекты внутри json массива?

тоесть есть json

{[result{object1}...{objectN}]}

show показывает только одну строку и непонятно какую

Пробовал в option ставить multiline true и не помогло
загуглите функцию explode
источник

АР

Андрей Романов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
в spark-sql
источник

АР

Андрей Романов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
она вам поможет
источник

АР

Андрей Романов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Straxoff Pavel
Подскажите, а как в спарке через show() увидеть все объекты внутри json массива?

тоесть есть json

{[result{object1}...{objectN}]}

show показывает только одну строку и непонятно какую

Пробовал в option ставить multiline true и не помогло
источник

AY

Alexey Yurasov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
anton timofeev
Спасибо) Идея чуть шире - дать возможность работать с частоиспользуемыми компонентами и блоками кода визуально
Может быть полезно для быстрого согласования задания 🤔
источник

SP

Straxoff Pavel in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Спасибо, сейчас посмотрю
источник

DC

Dmitry Chudinovskikh in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
anton timofeev
Отчасти напоминает pandas gui
источник

SP

Straxoff Pavel in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Помогло, спасибо!
источник