DZ
если реализовывать с конкретными типами, то нужно перепроектировать
думаю стоит так поступить
Size: a a a
2020 September 07
ИК
сейчас все на датафреймах, Row - офигенно гибкая структура, все в рантайме (почти )
DZ
Гибкость написанная кровью
DZ
вы же не натравляете свои джобы на рандомные данные?
ПФ
сейчас все на датафреймах, Row - офигенно гибкая структура, все в рантайме (почти )
но вот udf поверх произвольных типов писать сложновато :)
ИК
вы же не натравляете свои джобы на рандомные данные?
на самом деле нет
ИК
не на рандомные))
DZ
ну вот, значит вы знаете что у вас там
DZ
абстрагируйте этот пайплайн от этого T
DZ
сделайте этот T каким нибудь adt
DZ
напишите код от T: Order а как запускать потом подумайте
DZ
вы поймете что в момент запуска скорее всего вы уже знаете что там, и соответсвено в том месте уточните тип
ИК
вы поймете что в момент запуска скорее всего вы уже знаете что там, и соответсвено в том месте уточните тип
звучит разумно, обязательно обдумаю. Спасибо!
DZ
на самый худой конец, заведите поле дискриминатор, которое будет описывать что там за тип. дальше по нему вывести эту сраниловку
DZ
ну это можно и на датафрейме. прост удф от этого параметра, внутри фабрика ваших сравниловок
DZ
но тут компилятор уже не поможет найти ничего
DZ
на самый худой конец, заведите поле дискриминатор, которое будет описывать что там за тип. дальше по нему вывести эту сраниловку
ну или из выведеной схемы брать, дальше значение передавать в фабрику
А
bigDF left join smallDF on x >= a and x < b
Может не в тему, но range join можно ускорить
https://rahulpedduri.github.io/2017/10/23/time-range-join.html или
https://docs.databricks.com/delta/join-performance/range-join.html
Может не в тему, но range join можно ускорить
https://rahulpedduri.github.io/2017/10/23/time-range-join.html или
https://docs.databricks.com/delta/join-performance/range-join.html
ИК
bigDF left join smallDF on x >= a and x < b
Может не в тему, но range join можно ускорить
https://rahulpedduri.github.io/2017/10/23/time-range-join.html или
https://docs.databricks.com/delta/join-performance/range-join.html
Может не в тему, но range join можно ускорить
https://rahulpedduri.github.io/2017/10/23/time-range-join.html или
https://docs.databricks.com/delta/join-performance/range-join.html
Первая ссылка интересная, спасибо, посмотрю подробнее.
Вторая, походу, не подойдёт, это датабриксовская примочка
Вторая, походу, не подойдёт, это датабриксовская примочка
А
Первая ссылка интересная, спасибо, посмотрю подробнее.
Вторая, походу, не подойдёт, это датабриксовская примочка
Вторая, походу, не подойдёт, это датабриксовская примочка
Да, вторая из коробки только в бриксе, но вроде логически проще и может получится сделать аналог вручную