GP
Это сообщение удалила сама телега
О_о
А чо, так можно было?
Size: a a a
2020 August 31
2020 September 01
Н
а кто-нибудь знает как прочить gzip файл, если в его пути нет расширения .gz
T
а кто-нибудь знает как прочить gzip файл, если в его пути нет расширения .gz
отнаследоваться от GzipCodec и заоврерайдить getDefaultExtension на пример
Н
а это в pysparkе можно сделать?
2020 September 02
ПБ
Добрый вечер, коллеги! скажите пожалуйста.
у меня есть 5 машинок со спарком
я запускаю команду, и как можно узнать, что все ресурсы максимально утилизированы для данной задачи (т.е. что все 5 машинок работают?)
Это yarn ? ккие -то логи? спасибо
у меня есть 5 машинок со спарком
я запускаю команду, и как можно узнать, что все ресурсы максимально утилизированы для данной задачи (т.е. что все 5 машинок работают?)
Это yarn ? ккие -то логи? спасибо
AS
Добрый вечер, коллеги! скажите пожалуйста.
у меня есть 5 машинок со спарком
я запускаю команду, и как можно узнать, что все ресурсы максимально утилизированы для данной задачи (т.е. что все 5 машинок работают?)
Это yarn ? ккие -то логи? спасибо
у меня есть 5 машинок со спарком
я запускаю команду, и как можно узнать, что все ресурсы максимально утилизированы для данной задачи (т.е. что все 5 машинок работают?)
Это yarn ? ккие -то логи? спасибо
spark ui, а так хоть ganglia поставить можно
PK
Добрый вечер, коллеги! скажите пожалуйста.
у меня есть 5 машинок со спарком
я запускаю команду, и как можно узнать, что все ресурсы максимально утилизированы для данной задачи (т.е. что все 5 машинок работают?)
Это yarn ? ккие -то логи? спасибо
у меня есть 5 машинок со спарком
я запускаю команду, и как можно узнать, что все ресурсы максимально утилизированы для данной задачи (т.е. что все 5 машинок работают?)
Это yarn ? ккие -то логи? спасибо
Во вкладке executors в spark ui указаны хосты, на которых запущены экзекьюторы и выделенные ресурсы
ПБ
Во вкладке executors в spark ui указаны хосты, на которых запущены экзекьюторы и выделенные ресурсы
PK
Кажется, что нет. Это же интерфейс амбари или клаудеры
AS
На History Server UI нажмите и там то, о чем писали.
ME
Привет. Ребят, а кто-то в курсе почему модуль интеграции kafka со спарком не идет в стандартной поставке? Почему он просто не лежит джарником вместе со спарком? Почему надо каждый раз указывать как зависимоссть?
https://spark.apache.org/docs/3.0.0/structured-streaming-kafka-integration.html#deploying
./bin/spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.0.0 ...
https://spark.apache.org/docs/3.0.0/structured-streaming-kafka-integration.html#deploying
ЕГ
Привет. Ребят, а кто-то в курсе почему модуль интеграции kafka со спарком не идет в стандартной поставке? Почему он просто не лежит джарником вместе со спарком? Почему надо каждый раз указывать как зависимоссть?
https://spark.apache.org/docs/3.0.0/structured-streaming-kafka-integration.html#deploying
./bin/spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.0.0 ...
https://spark.apache.org/docs/3.0.0/structured-streaming-kafka-integration.html#deploying
Кафки разные, под них разные версии либы
ME
Евгений Глотов
Кафки разные, под них разные версии либы
я вижу только 0-8 и 0-10, в третьей версии только 0-10
GP
Привет. Ребят, а кто-то в курсе почему модуль интеграции kafka со спарком не идет в стандартной поставке? Почему он просто не лежит джарником вместе со спарком? Почему надо каждый раз указывать как зависимоссть?
https://spark.apache.org/docs/3.0.0/structured-streaming-kafka-integration.html#deploying
./bin/spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.0.0 ...
https://spark.apache.org/docs/3.0.0/structured-streaming-kafka-integration.html#deploying
не всем нужна кафка
ME
Евгений Глотов
Кафки разные, под них разные версии либы
я так понимаю что 0-10 совместима с текущими актуальными 2.x
ME
не всем нужна кафка
ну блин, не всем нужен mllib, но его же пихают везде
ME
или graphx
GP
ну блин, не всем нужен mllib, но его же пихают везде
его (xml) не пихают в скале везде, это отдельная зависимость