G
Ну вот подробности то по сути и все. Есть данные порядка 500Гб в одной партиции. Это снапшот, обновляемый каждый ден и вот раз в день надо это вычитать для дальнейшей работы. ПРи этом там не один файл а много (порядка 400-500)
Size: a a a
2020 November 10
ИК
Ну вот подробности то по сути и все. Есть данные порядка 500Гб в одной партиции. Это снапшот, обновляемый каждый ден и вот раз в день надо это вычитать для дальнейшей работы. ПРи этом там не один файл а много (порядка 400-500)
Теперь стало понятнее. Партиция - это дельта за один день? Или это hive- партиции, в каждой из которых содержится дельта, перемешанная с неизменными данными?
2020 November 11
AA
Ну вот подробности то по сути и все. Есть данные порядка 500Гб в одной партиции. Это снапшот, обновляемый каждый ден и вот раз в день надо это вычитать для дальнейшей работы. ПРи этом там не один файл а много (порядка 400-500)
А если прочитать эту партицию (папку), то сколько партиций в датафрейме при этом? df.rdd.getnumpartitions что возвращает?
VM
Всем привет, как в Structured Streaming сделать вот что: на вход есть пары (timestamp, id, text), как получить (timestamp, id, text + text + text) для записей с однниковым id.
Я разобрался что нужно делать groupBy но как ему сказать что бы он все text из сгруппированных слил в один?
Я разобрался что нужно делать groupBy но как ему сказать что бы он все text из сгруппированных слил в один?
VM
есть функции first и last для того что бы получить данные из группировки, но не могу найти что-то типо join или merge
AS
collect_list?
VM
collect_list?
да это почти то что адо, а как array<string> в string слить?
VM
udf?
AP
concat_ws?
AP
А, не, так не выйдет
VM
через UDF вышло
2020 November 12
AS
через UDF вышло
а просто через concat не получилось?
G
Теперь стало понятнее. Партиция - это дельта за один день? Или это hive- партиции, в каждой из которых содержится дельта, перемешанная с неизменными данными?
Партиция это снепшот. Каждый день она создается заново
VM
а просто через concat не получилось?
Нет, по той же причине почему и concat_ws не подходит - обе функции для сливания n колонок, а у меня одна колонка в которой массив обьектов
AL
Нет, по той же причине почему и concat_ws не подходит - обе функции для сливания n колонок, а у меня одна колонка в которой массив обьектов
array_join?
ИГ
Партиция это снепшот. Каждый день она создается заново
А можно чуть поподробнее о задаче? Вы писали что этот снепшот в 500 ГБ нужно будет обрабатывать. Пока не понятно, что хотите сделать
G
Игорь Гомановский
А можно чуть поподробнее о задаче? Вы писали что этот снепшот в 500 ГБ нужно будет обрабатывать. Пока не понятно, что хотите сделать
Да, конечно. В общем. есть глобальная партиция снапшота и нам надо, прочитать ее и выделить дельту относительно того, что уже было вычитано. И положить уже раскинув по партициям.
VM
array_join?
в 2.3.0 не вижу такого
ИГ
Да, конечно. В общем. есть глобальная партиция снапшота и нам надо, прочитать ее и выделить дельту относительно того, что уже было вычитано. И положить уже раскинув по партициям.
То есть у вас планируется 1 join снепшота с партицированным хранилищем и append результата в это же хранилище?
G
Игорь Гомановский
То есть у вас планируется 1 join снепшота с партицированным хранилищем и append результата в это же хранилище?
Верно