AA
есть datapipeline и stepfunctions
спасибо, посмотрю.
Size: a a a
2020 June 10
K
ребят , кто нить вместе со спарк приложухой подымает вебсервер в ярне, поделитесь опытом?
GP
ребят , кто нить вместе со спарк приложухой подымает вебсервер в ярне, поделитесь опытом?
Он будет драйвером?
K
На драйвере
K
GP
На драйвере
Ну обычно, прост сабмить да и все в калйент моде
GP
Можно в кластер моде ещё ток не предсказуемо где драйвер будет жить
K
Можно в кластер моде ещё ток не предсказуемо где драйвер будет жить
ну вот я думаю, как мне сервис дискавери делать
K
в кластер моде, хочу свителки-перделки сделать для потоковых данных
ЕГ
ну вот я думаю, как мне сервис дискавери делать
А можно с аппмастера проверить, на какой он ноде оказался, и постучаться на твой сервачок, который на менеджмент ноде всегда?
ЕГ
А твой сервачок уже сделает прокси до UI, или что там нужно
GP
Евгений Глотов
А можно с аппмастера проверить, на какой он ноде оказался, и постучаться на твой сервачок, который на менеджмент ноде всегда?
я бы кстати псомотрел на готовое какое решение
ЕГ
А если всем вместе попросить разработчиков спарка запилить фичу, они запилят фичу?)
AS
я бы кстати псомотрел на готовое какое решение
можно в исходниках mmlspark посмотреть
GP
мне бы хватило примера проекта де делают такой дискавери
GP
GP
можно в исходниках mmlspark посмотреть
а как они делают?
AS
а как они делают?
надо смотреть :)))
AS
а как они делают?
интересно получается:
1. делают свой Source (т.е. веб сервера как dataframe)
2. делают обертку над com.sun.net.httpserver и стартуют (полезный хак https://www.nicolaferraro.me/2016/02/22/using-non-serializable-objects-in-apache-spark/)
3. потом применяют в их случае модель для этого соурса через трансформ (https://github.com/Azure/mmlspark/blob/master/docs/mmlspark-serving.md)
1. делают свой Source (т.е. веб сервера как dataframe)
2. делают обертку над com.sun.net.httpserver и стартуют (полезный хак https://www.nicolaferraro.me/2016/02/22/using-non-serializable-objects-in-apache-spark/)
3. потом применяют в их случае модель для этого соурса через трансформ (https://github.com/Azure/mmlspark/blob/master/docs/mmlspark-serving.md)
B
ребят , кто нить вместе со спарк приложухой подымает вебсервер в ярне, поделитесь опытом?
ммм SparkHistoryServer?