АР
по запросу "pyspark timedelta" в поиске ещё много вариантов было
попробуйте это посмотреть, может поможет
https://stackoverflow.com/questions/36115687/pyspark-filtering-a-dataframe-by-date-field-in-range-where-date-is-string
Size: a a a
2020 November 17
KP
Попробую, спасибо
KP
по запросу "pyspark timedelta" в поиске ещё много вариантов было
Что-то ничего подходящего не нашлось среди них(
t
Привет
Может кто подсказать, как посчитать предыдущий день в pyspark? В питоне это timedelta..
Может кто подсказать, как посчитать предыдущий день в pyspark? В питоне это timedelta..
date_sub
KP
date_sub
Похоже на то, спасибо!
2020 November 23
K
кто как сейас компактинг данных делает для структурного стриминга? Раньше была проблема, что если руками сжать партицию, другая спарк джоба падала в случае попытки чтения из корня директории храненения ввсех данных, так как спарк пишет в __spark_metadata имена уже записаных файлов
2020 November 24
K
Теперь ещё вопрос , в структурном стриминге как сделать так , чтобы Спарк обновлял тикеты ?
2020 November 25
РШ
привет, никто не сталкивался с такой проблемой: при попытке записи по jdbc в базу запись падает с ошибкой Connection refused,
параметры спарк сессии: master=yarn, mode=client
при этом сетевой доступ есть с нод, на которых запускаются экзекуторы, но отсутсвует сетевой доступ с хоста, на котором запущен драйвер, возник вопрос: драйвер как-то участвует в записи? в доках ничего про это не нашел
параметры спарк сессии: master=yarn, mode=client
при этом сетевой доступ есть с нод, на которых запускаются экзекуторы, но отсутсвует сетевой доступ с хоста, на котором запущен драйвер, возник вопрос: драйвер как-то участвует в записи? в доках ничего про это не нашел
AA
Руслан Шарафутдинов
привет, никто не сталкивался с такой проблемой: при попытке записи по jdbc в базу запись падает с ошибкой Connection refused,
параметры спарк сессии: master=yarn, mode=client
при этом сетевой доступ есть с нод, на которых запускаются экзекуторы, но отсутсвует сетевой доступ с хоста, на котором запущен драйвер, возник вопрос: драйвер как-то участвует в записи? в доках ничего про это не нашел
параметры спарк сессии: master=yarn, mode=client
при этом сетевой доступ есть с нод, на которых запускаются экзекуторы, но отсутсвует сетевой доступ с хоста, на котором запущен драйвер, возник вопрос: драйвер как-то участвует в записи? в доках ничего про это не нашел
Мне казалось, что драйвер делает какие-то специальные запросы, типо проверяет схему и тд
АШ
по идее, драйвер должен участвовать в записи. Как минимум, он должен проверить существует ли таблица и извлечь схему
Д
Если jdbc не завернут в udf, то из коннктора читает драйвер. По крайней мере в pyspark. Ошибку Можно посмотреть в логах драйвера.
2020 December 02
AS
Долой s3 guard!
GP
Это прекрасно!
AS
интересно, а на сколько (если) деградирует скорость?
AS
они пишут про There’s no impact on performance, но есть сомнения
2020 December 03
ED
Коллеги, кому-нибудь приходилось искать парсеры для spark-джобов?
Стоит цель получить на вход Java-код по запуску Spark через SQLContext, а на выход набор sql-скриптов, входные и выходные таблицы, настройки spark-submit и прочее.
Есть ли что-то похожее на гитхабе?
Стоит цель получить на вход Java-код по запуску Spark через SQLContext, а на выход набор sql-скриптов, входные и выходные таблицы, настройки spark-submit и прочее.
Есть ли что-то похожее на гитхабе?
MV
Evgenij Danilov
Коллеги, кому-нибудь приходилось искать парсеры для spark-джобов?
Стоит цель получить на вход Java-код по запуску Spark через SQLContext, а на выход набор sql-скриптов, входные и выходные таблицы, настройки spark-submit и прочее.
Есть ли что-то похожее на гитхабе?
Стоит цель получить на вход Java-код по запуску Spark через SQLContext, а на выход набор sql-скриптов, входные и выходные таблицы, настройки spark-submit и прочее.
Есть ли что-то похожее на гитхабе?
Ну да, приходилось, на headhunter’е 😬
ED
😢
С
Ну да, приходилось, на headhunter’е 😬
И почем этот парсер обошёлся?))