V
Python/Scala
+
Size: a a a
2020 October 02
E
Подскажите а как добраться до автора https://medium.com/@eugene_lopatkin/apache-spark-integration-testing-32d9aa9860be ?
Владимир, что там не так?)
VM
Владимир, что там не так?)
как мог отписал в коменте, если коротко то для примера с Kafka из-за того что нет импортов, это прям задача что бы завести это 🙁
E
как мог отписал в коменте, если коротко то для примера с Kafka из-за того что нет импортов, это прям задача что бы завести это 🙁
Владимир, если забить в Гугл "git Spark Utils.deleteRecursively" первой ссылкой выпадает, что нужно. Но я учту, и дополню статьи чуть позже.
E
С импортами объем слайдов вырос бы до космических размеров.
E
Но, да, в статье можно добавить.
VM
Слайдов да, но тут ведь стотья
E
Слайдов да, но тут ведь стотья
Дополню. Спасибо за комментарий!
E
Слайдов да, но тут ведь стотья
Я планирую выступить с темой Testing Apache Spark Appreciations на Спарк саммит, перед этим хорошо переработать статьи и презентации, так что любые комментарии приветствуются.
VM
Я планирую выступить с темой Testing Apache Spark Appreciations на Спарк саммит, перед этим хорошо переработать статьи и презентации, так что любые комментарии приветствуются.
Хорошо, если что-то еще будет я обязательно напишу, я новичёк в спарке - поэтому многие очевидные вещи мне совсем не очевидны
ПФ
Хорошо, если что-то еще будет я обязательно напишу, я новичёк в спарке - поэтому многие очевидные вещи мне совсем не очевидны
Новичок нынче опасное слово.
E
Хорошо, если что-то еще будет я обязательно напишу, я новичёк в спарке - поэтому многие очевидные вещи мне совсем не очевидны
В том-то и плюс. Многие очевидные вещи для меня не очевидны для других. Твои исправления позволяют мне сделать материал более доступным. Спасибо!
E
Новичок нынче опасное слово.
🤣🤣🤣
Sa
Новичок нынче опасное слово.
Хайп этого года, впрочем, как и обнуление
DG
Я планирую выступить с темой Testing Apache Spark Appreciations на Спарк саммит, перед этим хорошо переработать статьи и презентации, так что любые комментарии приветствуются.
Мне кажется стоит какой-то более убедительный ответ найти на вопрос: почему не docker. Потому что, нк по дефолту сейчас такие тесты делаются именно там.
Например, можно запускать в IDE, тесты проходят быстрее, можно найти root cause в дебаггере. Можно легко менять поведение настроек от теста к тесту. Можно мокать отдельные куски или менять их поведение специально для теста.
Например, можно запускать в IDE, тесты проходят быстрее, можно найти root cause в дебаггере. Можно легко менять поведение настроек от теста к тесту. Можно мокать отдельные куски или менять их поведение специально для теста.
E
Мне кажется стоит какой-то более убедительный ответ найти на вопрос: почему не docker. Потому что, нк по дефолту сейчас такие тесты делаются именно там.
Например, можно запускать в IDE, тесты проходят быстрее, можно найти root cause в дебаггере. Можно легко менять поведение настроек от теста к тесту. Можно мокать отдельные куски или менять их поведение специально для теста.
Например, можно запускать в IDE, тесты проходят быстрее, можно найти root cause в дебаггере. Можно легко менять поведение настроек от теста к тесту. Можно мокать отдельные куски или менять их поведение специально для теста.
Денис, ты предлагаешь найти доводы, которыми руководствовались ребята из Спарк? Я попробую.) И добавлю в статьи.) Спасибо!
VM
Может кто подсказать почему Spark 2.3 считает что
Хотя ему очень даже есть чем заняться (Scala) https://gist.github.com/greenhost87/fc011b2e81e4af0f50f24629915a5555
No output operations registered, so nothing to execute Хотя ему очень даже есть чем заняться (Scala) https://gist.github.com/greenhost87/fc011b2e81e4af0f50f24629915a5555
AS
Денис, ты предлагаешь найти доводы, которыми руководствовались ребята из Спарк? Я попробую.) И добавлю в статьи.) Спасибо!
да, а не: они так делают, и я так делаю.
У них эти тесты возможно были еще в те времена, когда докер только появлялся, а протолкнуть что-то новое наверняка ох как не просто на такой стадии.
У них эти тесты возможно были еще в те времена, когда докер только появлялся, а протолкнуть что-то новое наверняка ох как не просто на такой стадии.
E
да, а не: они так делают, и я так делаю.
У них эти тесты возможно были еще в те времена, когда докер только появлялся, а протолкнуть что-то новое наверняка ох как не просто на такой стадии.
У них эти тесты возможно были еще в те времена, когда докер только появлялся, а протолкнуть что-то новое наверняка ох как не просто на такой стадии.
Ты удивишься, как легко азиатские парни и трансгендеры там проталкивают свои идеи.)
AS
Ты удивишься, как легко азиатские парни и трансгендеры там проталкивают свои идеи.)
их идеи видимо бояться отвергать, а про тестирование: посмотри как они тестируют spark-ml, это ужас, табличка на 10 записей, прогнали алгоритм, работает и всё!
А то что это на данных хотя бы в несколько милионов вообще неработоспособно их мало тревожит
А то что это на данных хотя бы в несколько милионов вообще неработоспособно их мало тревожит