e
Когда Спарк сессия стартует , к ней можно подрубится через http и погонять какой нить sql ? Ну или что можно придумать взамен ?
Size: a a a
2021 April 15
ЕГ
Написать сервис, который при старте поднимает сессию, исполняет запросы, которые в него поступили, и возвращает результат
ЕГ
Либо воспользоваться spark thrift server
ЕГ
Это как раз сервер sql запросов, который держит одну сессию и исполняет всё через неё
АА
Если не ошибаюсь есть подход lowcode, он чем то похож на твою ситуацию
IS
Можно поставить брейкпоинт в идее и гонять сколько угодно сиквел)
ЕГ
К спарк-сессии, запущенной через ярн, подключиться невозможно
IS
Не было в условии чина)
IS
Ярна *
ЕГ
Если через стэндэлоун, то есть адрес и порт, можно попробовать подключиться типа sparksession.getorcreate()
ИК
а если какой-нибудь воркэраунд придумать? Типа кидать в стриме SQL-тексты и сохранять результаты?
e
пока вырисовывается http сервер который держит открытую сессию спарка ,
* имхо это настолько очевидно , что надо поискать на github ))
* имхо это настолько очевидно , что надо поискать на github ))
ИК
Слежу с большим интересом)
ЕГ
Ливи...
ЕГ
Но суть проблемы в том, что сессия работает из-под одного пользователя
ЕГ
Хайв сервер же разруливает запросы из-под каждого юзера отдельно
ЕГ
Если бы кто-то замутил нормальный спарк-сервер, было бы круто)
ЕГ
Можно было бы наконец-то выкинуть хайв в мусорку
2021 April 16
SS
к вопросу о доступе к Spark с помощью SQL-tools: кто-то использует Simba Spark JDBC/ODBC driver?
e
DataBricks дрова не подошли ?