Телеграмм чат группы moscowspark страница 622

Size: a a a

Moscow Spark

2021 April 04

АР

для pyspark есть https://github.com/MrPowers/chispa

для spark на java есть https://github.com/holdenk/spark-testing-base

для spark на скала есть https://github.com/holdenk/spark-testing-base или https://github.com/MrPowers/spark-fast-tests

GitHub

MrPowers/chispa

PySpark test helper methods with beautiful error messages - MrPowers/chispa

@essbase как говорится,коллега, выбирайте , не скупитесь!)

источник

21:57пожаловаться #1

T in Moscow Spark

Nikita Blagodarnyy

Тестируем скала-тестом и тестконтейнерами.
Есть, конечно. Написал ты например функцию, которая df агрегирует row_number-ом, сделал входной детальный датафрейм, скормил его функции, получил схлопнутый, скормил его ассерту-профит.
про метрики это надо в сторону аккумуляторов смотреть.

+++

источник

21:57пожаловаться #2

Nikita Blagodarnyy in Moscow Spark

er@essbase.ru

на гите есть примеры подобного похода ?

есть. в самом спарке есть раздел с тестами, они примерно то же самое делают.
конкретно наше не деплоили пока, убалтываю народ.

источник

21:57пожаловаться #3

АР

Андрей Романов... in Moscow Spark

плюс иногда тест=контейнеры можно заменить embedded-версиями

источник

21:58пожаловаться #4

АР

Андрей Романов... in Moscow Spark

(если можно)

источник

21:58пожаловаться #5

Nikita Blagodarnyy in Moscow Spark

Андрей Романов

GitHub

MrPowers/chispa

PySpark test helper methods with beautiful error messages - MrPowers/chispa

фаст-тест это скорее набор хелперов. я не видел там именно какого-то тестирования бизнес-логики. может в глаза долбился.

источник

21:58пожаловаться #6

No Name in Moscow Spark

Андрей Романов

GitHub

MrPowers/chispa

PySpark test helper methods with beautiful error messages - MrPowers/chispa

Есть deequ

источник

21:59пожаловаться #7

Nikita Blagodarnyy in Moscow Spark

Андрей Романов

плюс иногда тест=контейнеры можно заменить embedded-версиями

а можно на тестовые стенды, когда ну совсем лениво

источник

21:59пожаловаться #8

Nikita Blagodarnyy in Moscow Spark

АР

Андрей Романов... in Moscow Spark

хех

22:00пожаловаться #10

Nikita Blagodarnyy in Moscow Spark

мы все подняли в контейнерах, но вот с фениксом чет пока никак.

источник

22:01пожаловаться #11

ЕГ

Евгений Глотов... in Moscow Spark

В чем смысл переписывать на df если переписывать то над брать ds . slowpoke.jpg

Успехов на ds витрину из 20 источников на 3к фичей с автогенерацией этих самых фичей)

источник

22:27пожаловаться #12

T in Moscow Spark

Евгений Глотов

Успехов на ds витрину из 20 источников на 3к фичей с автогенерацией этих самых фичей)

Можно декомпозировать по подгруппам. Все зависит на сколько критична ветрина

источник

22:30пожаловаться #13

ЕГ

Евгений Глотов... in Moscow Spark

Любой продакт вам скажет, что витрина супер критична и нужна была позавчера, пока будете на датасетах писать, пора будет на пенсию выходить)

источник

22:38пожаловаться #14

ПФ

Паша Финкельштейн... in Moscow Spark

er@essbase.ru

Скажите а что и как вы тестируете в Спарке для DF ?
есть ли примеры кода когда тестами покрывается качество данных, результат расчета .
можно ли в самом расчете проверить рухнул ли определенный таск и какие были метрики DF в момент падения ?

+great expectations

источник

22:39пожаловаться #15

АР

Андрей Романов... in Moscow Spark

Nikita Blagodarnyy

ну кстати возможно, но обновляемой альтернативы для тестов на питоне я не нашёл(

источник

22:39пожаловаться #16

2021 April 05

Alena Korogodova in Moscow Spark

No Name

Есть deequ

а ты пробовал его?

источник

03:22пожаловаться #17

No Name in Moscow Spark

Alena Korogodova

а ты пробовал его?

Ну так, слегка потестил. Вроде работает)

источник

04:29пожаловаться #18

2021 April 06

Alena Korogodova in Moscow Spark

Кто хотел разнообразия в спаме? Пожалуйста))

источник

10:21пожаловаться #19

ПФ

Паша Финкельштейн... in Moscow Spark

Чатик, а вы знаете про конфу datalove, которая совсем скоро? https://datalove.konfy.care/
И вы только посомтрите какой там лайнап? Я не видел Холден уже больше года, например!

источник

11:43пожаловаться #20