Вы посмотрите со стороны ханы . Какой туда запрос прилетает http://sap.optimieren.de/hana/hana/html/_m__p_r_e_p_a_r_e_d__s_t_a_t_e_m_e_n_t_s.html

Всем привет, кто нибудь знает способ из спарка писать/читать Aurora (Serverless) ? Или нужно писать свой DataSource который будет ломиться в аврору через Amazon data api?

Там же драйвер совместим с mysql так что через jdbc должно работать

Там нет публичного ip в serverless ) Есть только endpoint с которым можно работать. Есть Amazon SDK для java который умеет с ним работать через секреты амазона по http, интересно насколько безумная идея писать свой data source

Если spark в aws то можно в один vpc завернуть https://aws.amazon.com/getting-started/tutorials/configure-connect-serverless-mysql-database-aurora/

и как по jdbc подключиться? endpoint передать как ip сервера? Звучит как магия =)

точно также как они в 5 пункте mysql клинетом цепляются

Спасибо, кажется, это действительно работает. Достаточно настроить нужные security groups!

👍

Всем привет. Прервем неловкое постновогоднее молчание. Читая рассылку Спарка, наткнулся на такой любопытный проект https://github.com/dmmiller612/sparktorch. В чем фишка? Чувак, как и тысячи других энтузиастов, прикрутил очередной DL-framework к Спарку. Все, в общем, обычно. Data parallel learning, parameter server (написан, правда, руками и на Flask). Однако разработчик заморочился и сделал нормальую поддержку Spark ML Pipeline. Т.е. реализовал полноценный кастомный трансформер и кастомный эстиматор. Печально, конечно, что не используется конвертация партиций через arrow (должно быть сильно быстрее). Зато есть поддержка синхронного обучения через barrier execution mode в Spark. В общем, крайне любопытный проект.

Интересно, почитаем

Реализация на питоняше

И заточена под pytorch

2 месяца/ 45 комитетов - сыровато наверное ...

Да, сырое канеш. Но чего-то такого прям долгого и стабильного я и не видел, если честно

С другой стороны, это же просто интеграция двух больших проектов. Оно и не должно быть большим и долгим

Привет, вопрос:
Если я выдаю экзекьютору 3 гб и еще немного отсыпаю на overhead.
Затем кеширую какой-то нибудь df.

Cоответственно, на каждом экзекьюторе кешируется только та часть df, которая на нем есть, или на каждый экзекьютор приедет весь df, чтобы в памяти каждого экзекьютора был весь df?
Или я сильно запутался и ошибся?

на экзекуторах только те партиции которые там были закэшеруются

Ага, спасибо!

Всем привет. Кто нибудь дружил spark со spring boot'ом ?