G
Спасибо за уточнение
Size: a a a
2020 November 13
ИК
Так и делаем
Это неплохой подход. Значит, я понимаю, что проблема с апдейтами и удалениями строк в партициях конечного снепшота? Какой у вас логический формат конечного снепшота? Только актуальные строки, или SCD2, или ещё что-то?
G
Это неплохой подход. Значит, я понимаю, что проблема с апдейтами и удалениями строк в партициях конечного снепшота? Какой у вас логический формат конечного снепшота? Только актуальные строки, или SCD2, или ещё что-то?
Я не в курсе что такое SCD2
ИК
Slowly changing dimension type 2. Справочник, в котором у каждой записи есть интервал актуальности, обычно указываемый в двух полях: {поле от} и {поле до}
https://ru.m.wikipedia.org/wiki/%D0%9C%D0%B5%D0%B4%D0%BB%D0%B5%D0%BD%D0%BD%D0%BE_%D0%BC%D0%B5%D0%BD%D1%8F%D1%8E%D1%89%D0%B8%D0%B5%D1%81%D1%8F_%D0%B8%D0%B7%D0%BC%D0%B5%D1%80%D0%B5%D0%BD%D0%B8%D1%8F
https://ru.m.wikipedia.org/wiki/%D0%9C%D0%B5%D0%B4%D0%BB%D0%B5%D0%BD%D0%BD%D0%BE_%D0%BC%D0%B5%D0%BD%D1%8F%D1%8E%D1%89%D0%B8%D0%B5%D1%81%D1%8F_%D0%B8%D0%B7%D0%BC%D0%B5%D1%80%D0%B5%D0%BD%D0%B8%D1%8F
G
А понял. Не. Только актуальные.
ИК
А понял. Не. Только актуальные.
Значит, надо удалять строки, которые больше не актуальны. Для файловых форматов в HDFS это непросто. Могу предложить три варианта:
1. Сохранить дельту с таким же партиционирование, как снепшот. Это сразу даст вам партиции, в которых есть изменения. Выполнить для каждой партиции {данные снепшота в партиции}.anti_join({данные дельты в партиции}).union({данные дельты в партиции}). Сохранить во временную папку. Проверить. Заменить партицию в снепшоте новой версией
2. Использовать apache iceberg, apache hudi или ещё что-то в таком духе. Начинать тяжело, но в перспективе легче
3. Сделать свой вариант, например с битовыми индексами, или с самодельными бакетами, или с промежуточные noSQL хранилище для дедупликации. Очень сложно, зато можно получить именно то, что нужно и полностью под контролем. Впрочем и риски наибольшие
1. Сохранить дельту с таким же партиционирование, как снепшот. Это сразу даст вам партиции, в которых есть изменения. Выполнить для каждой партиции {данные снепшота в партиции}.anti_join({данные дельты в партиции}).union({данные дельты в партиции}). Сохранить во временную папку. Проверить. Заменить партицию в снепшоте новой версией
2. Использовать apache iceberg, apache hudi или ещё что-то в таком духе. Начинать тяжело, но в перспективе легче
3. Сделать свой вариант, например с битовыми индексами, или с самодельными бакетами, или с промежуточные noSQL хранилище для дедупликации. Очень сложно, зато можно получить именно то, что нужно и полностью под контролем. Впрочем и риски наибольшие
NN
А подскажи, пожалуйста, кого можно указать как организатора конфы? Имею в виду какое-нибудь ООО, т.е. с юридической точки зрения. Заполняю просто заявку для работодателя.
ПФ
А подскажи, пожалуйста, кого можно указать как организатора конфы? Имею в виду какое-нибудь ООО, т.е. с юридической точки зрения. Заполняю просто заявку для работодателя.
NN
О, пасиб)
ПФ
Переслано от Dmitriy Titov
ПФ
Вот тут можно спрашивать про смартдату вполне
PK
О, уже 904 человека в чатике. В связи с чем нашествие?)
NN
О, уже 904 человека в чатике. В связи с чем нашествие?)
Мне кажется, что периодически кто-нибудь постит ссылку на группу, и слетаются)
PK
Мне кажется, что периодически кто-нибудь постит ссылку на группу, и слетаются)
Вот и интересно, откуда на этот раз
С
О, уже 904 человека в чатике. В связи с чем нашествие?)
Обещали конфу спарка с едой и афтерпати в баре молодому поколению бигдатаспарководов
С
Если бы не ковid
PK
Сюткин
Обещали конфу спарка с едой и афтерпати в баре молодому поколению бигдатаспарководов
Валера, а че, корпоративы уже начались?)
С
Валера, а че, корпоративы уже начались?)
Ближайший новогодний, дома с салатиком оливье
Концерты пришлось отменить
Концерты пришлось отменить
2020 November 17
KP
Привет
Может кто подсказать, как посчитать предыдущий день в pyspark? В питоне это timedelta..
Может кто подсказать, как посчитать предыдущий день в pyspark? В питоне это timedelta..
АР
Привет
Может кто подсказать, как посчитать предыдущий день в pyspark? В питоне это timedelta..
Может кто подсказать, как посчитать предыдущий день в pyspark? В питоне это timedelta..
попробуйте это посмотреть, может поможет
https://stackoverflow.com/questions/36115687/pyspark-filtering-a-dataframe-by-date-field-in-range-where-date-is-string
https://stackoverflow.com/questions/36115687/pyspark-filtering-a-dataframe-by-date-field-in-range-where-date-is-string
