Телеграмм чат группы moscowspark страница 202

2019 October 31

ЛР

Лев Рагулин... in Moscow Spark

Pavel Klemenkov

Потерли тут с @tenKe @pomadchin @krivdathetriewe про Spark на GPU и прочие ништяки)

Кул. Заценим

источник

09:27пожаловаться #1

A🦕

Alexander Rodionov 🦕... in Moscow Spark

чето так и не понял
есть ли оптимизация у .reduce - чтобы он выполнялся сначала на нодах партиций / и только потом прилетал на драйвер
или нет (сразу шлет на драйвер)

типа есть ли смысл использовать aggregate если seqOp и combOp - это одна операция. или тут просто reduce хватит

источник

12:30пожаловаться #2

A🦕

Alexander Rodionov 🦕... in Moscow Spark

вначале используется mapPartitions (и в нем reduce на каждой тачке)

и в конце обобщающий reduce на драйвере

сам спросил, сам отвечу

источник

12:44пожаловаться #3

R

Renarde in Moscow Spark

Сап чат, вопрос тут возник.
Читаем данные с апи в формате json, хочется чтобы Спарк обращался к урлу каждый раз когда идёт обращение к таблице - как это правильно сделать?

источник

12:47пожаловаться #4

ЕГ

Евгений Глотов... in Moscow Spark

В udf сделать реквест гет

источник

12:48пожаловаться #5

R

Renarde in Moscow Spark

Евгений Глотов

В udf сделать реквест гет

ааа, точняк. спасибо!

источник

12:49пожаловаться #6

2019 November 01

PK

Pavel Klemenkov in Moscow Spark

Всем привет. Участникам саммита разослали ссылки на записи докладов. Вот делюсь своей http://bit.ly/spark_summit_europe_2019. Кажется в свободном доступе их еще нет.

Databricks

Sessions | Artificial Intelligence & Apache Spark Conference

Click to watch the Spark + AI Summit video sessions archive from previous years

источник

10:29пожаловаться #7

EN

Eldar Nezametdinov in Moscow Spark

круто, спасибо👍🏽

источник

10:33пожаловаться #8

S

Stanislav in Moscow Spark

Pavel Klemenkov

Всем привет. Участникам саммита разослали ссылки на записи докладов. Вот делюсь своей http://bit.ly/spark_summit_europe_2019. Кажется в свободном доступе их еще нет.

Databricks

Sessions | Artificial Intelligence & Apache Spark Conference

Click to watch the Spark + AI Summit video sessions archive from previous years

👍

источник

10:37пожаловаться #9

AN

Andrey N in Moscow Spark

спасибо!

источник

10:44пожаловаться #10

EN

Eldar Nezametdinov in Moscow Spark

Мужики нид хелп. Стало генерироваться очень много логов из spark streaming.
HDP. Файлы в /var/log/hadoop/hdfs/hdfs-audit.log стали весить по 10-50гб за день. В основном 98% информации там, это удаление временных чекпоинтов, создание новых временных, проверка чекпоинтов и тд...
Куда смотреть хотя бы? ((

источник

10:52пожаловаться #11

ES

Eŭgenio Slusarev in Moscow Spark

Отключить INFO логирование в HDFS для начала....

источник

10:53пожаловаться #12

АЖ

Андрей Жуков... in Moscow Spark

Eldar Nezametdinov

Мужики нид хелп. Стало генерироваться очень много логов из spark streaming.
HDP. Файлы в /var/log/hadoop/hdfs/hdfs-audit.log стали весить по 10-50гб за день. В основном 98% информации там, это удаление временных чекпоинтов, создание новых временных, проверка чекпоинтов и тд...
Куда смотреть хотя бы? ((

Перейти на warn, сделать ротацию, включить сжатие.

источник

10:57пожаловаться #13

EN

Eldar Nezametdinov in Moscow Spark

да спасибо

источник

11:00пожаловаться #14

t

tenKe in Moscow Spark

> куда смотреть
в логи

источник

11:16пожаловаться #15

t

tenKe in Moscow Spark

sticker.webp

(36.23 Кб)

источник

11:16пожаловаться #16

АЖ

Андрей Жуков... in Moscow Spark

Ну там да, ржака. На стрим, который настримил на 5 гигов паркетов, аудит может нагенерить аудита на 50 гигов логов

источник

11:20пожаловаться #17

2019 November 05

☭S

☭ ⤳ λ Shinkevich... in Moscow Spark

@andrey_cheptsov Добрый день, с новой версией плагина BigDataTools удалось подключиться к zeppelin 0.7.3 (писал коммент на хабре). Параграфы выполняются, но как подсказать Идее, что нужны такие-то зависимости ? у нас кластер не имеет доступа в Инет, и все зависимости лежат локально и указаны в настройках интерпретатора....

источник

10:45пожаловаться #18

AC

Andrey Cheptsov in Moscow Spark

☭ ⤳ λ Shinkevich

@andrey_cheptsov Добрый день, с новой версией плагина BigDataTools удалось подключиться к zeppelin 0.7.3 (писал коммент на хабре). Параграфы выполняются, но как подсказать Идее, что нужны такие-то зависимости ? у нас кластер не имеет доступа в Инет, и все зависимости лежат локально и указаны в настройках интерпретатора....

Ответил личным сообщением. Спасибо большое, что вернули меня обратно. Оказывается бот автоматом банит, если в сообщении есть любая ссылка, даже если это YouTrack issue 🤣 🤗

источник

15:25пожаловаться #19

PK

Pavel Klemenkov in Moscow Spark

Andrey Cheptsov

Ответил личным сообщением. Спасибо большое, что вернули меня обратно. Оказывается бот автоматом банит, если в сообщении есть любая ссылка, даже если это YouTrack issue 🤣 🤗

Не, не так. Бот банит, если ссылка в твоем первом сообщении в чате

источник

15:25пожаловаться #20