G
Есть еще вопрос. Я думал что если я пытаюсь записать данные одним бачем то это позволит мне условно обеспечить транзакционность. То есть решить проблему контроля сохранения данных в базу при падении.
Size: a a a
2020 October 22
G
Но это не так. И вот что теперь делать - не знаю. Кажется что “нормального” решения для гарантированного сохранения данных в базу PostgreSQL нет
G
То есть я задаю batchsize = количеству записей но при падении этой записи в базе всеравно данные есть. Видимо дополнительно надо ограничить запись одним потоком
А
пробовал в оракл записывать, есть транзакционность на уровне 1 таски, так что нужно покопать в сторону настроек pg
А
если уровень изоляции неверный, то установить их опциями spark.jdbc: isolationLevel или sessionInitStatement
2020 October 23
SS
То есть я задаю batchsize = количеству записей но при падении этой записи в базе всеравно данные есть. Видимо дополнительно надо ограничить запись одним потоком
Помоемому там на ряду с размером батча есть таймаут и объем , про последнее не уверен.
G
Да. Есть. Надо будет в их сторону покопать тоже
А
https://github.com/apache/spark/blob/master/sql/core/src/main/scala/org/apache/spark/sql/execution/datasources/jdbc/JdbcUtils.scala#L685
коммит делается 1 раз в самом конце партиции, если бд это поддерживает
коммит делается 1 раз в самом конце партиции, если бд это поддерживает
2020 October 26
ME
Трансляция стартовала https://www.youtube.com/watch?v=hQI-QYJXlVU
Привет, а у вас остались слайды с докладов? Что-то не могу найти
PK
Привет, а у вас остались слайды с докладов? Что-то не могу найти
Привет, я приболел, поэтому торможу с выкладкой нарезок и слайдов. Слайды сейчас закину
ME
Привет, я приболел, поэтому торможу с выкладкой нарезок и слайдов. Слайды сейчас закину
Спасибо! Хочу коллегам на работе рассказать про доклады)
PK
Слайды выложил, как обычно, сюда http://bit.ly/moscow_spark_slides
ME
Спасибо!
2020 October 28
Д
Всем Привет! Вопрос может быть немного не в тему, но все же)
Использую airflow для шедулирования запуска spark джобов, так вот вопрос, как в airflow spark submit operator передать параметр deploy mode?
Использую airflow для шедулирования запуска spark джобов, так вот вопрос, как в airflow spark submit operator передать параметр deploy mode?
Д
Может быть кто то сталкивался?
TZ
Дима
Всем Привет! Вопрос может быть немного не в тему, но все же)
Использую airflow для шедулирования запуска spark джобов, так вот вопрос, как в airflow spark submit operator передать параметр deploy mode?
Использую airflow для шедулирования запуска spark джобов, так вот вопрос, как в airflow spark submit operator передать параметр deploy mode?
Через conf
TZ
submit_spark_job = SparkSubmitOperator(
application="***",
conf={'spark.yarn.queue': 'prod', 'spark.submit.deployMode': 'cluster'},
task_id="submit",
conn_id="hdp31_spark",
java_class="***",
application_args=[],
dag=dag
)TZ
вот примерчик
Д
Timur Zalimov
вот примерчик
Спасибо! Попробую этот вариант ещё. У меня получилось ещё через параметр extra в настройках коннекшена, просто добавил "deploy-mode"="cluster"
TZ
все что не встроено в spark submit я передаю через conf