AM
Size: a a a
2020 May 27
GP
тут же не понятно какой тип у null, это String или java.lang.Integer
Паша просто воюет зачемто с авторами, а не пытается понять логику в том, что уже есть)
GP
для него null = None
ПФ
ну там просто вырожденный случай, давай рассмортим чуть сложнее
Тут тип ясен же
Seq((1,2),(3,4)).toDS.map(v=>v.copy(v._1, if(v._2==4) null else v._2))Тут тип ясен же
K
Ну то есть ты никогда не застразован от того, что из внешнего мира не прилетит null
Линтер настроить
ПФ
Линтер настроить
ну ок, пусть там будет результат leftJoin, тут линтер всяко не поможет
ПФ
более того, сам спарк туда и уложит null
ПФ
То есть не то чтобы спарк фундаментально не переносил наллы )
AS
ну ок, пусть там будет результат leftJoin, тут линтер всяко не поможет
так тип колонок уже известен,поэтому и работает
ПФ
так тип колонок уже известен,поэтому и работает
и вот ты оставляешь только правую сторону после лефтджойна и приехали в ту же ошибку )))
AS
и вот ты оставляешь только правую сторону после лефтджойна и приехали в ту же ошибку )))
нет, у меня остается схема
ПФ
ну таки если ты попытаешься что-то записать в описанной мною ситуации — словишь ошибку про то, что "не могу налл хазяинама"
GP
а в чем в итоге проблема и какое решение
ПФ
Потому что
> для налла нету кодеков
> для налла нету кодеков
GP
Потому что
> для налла нету кодеков
> для налла нету кодеков
это следствие наверн
ПФ
Ну проблема в том, что у меня в котлине всё красиво, обмазано наллсейвети и всё такое, но один поганый окрнеркейс портит малину и единственное что можно сделать — это отфильтровать нахер наллы
GP
ну да думаю проблема в семантике; концепатльно null у спарка это отедльный тип
GP
это тип Nothing
K
Ну проблема в том, что у меня в котлине всё красиво, обмазано наллсейвети и всё такое, но один поганый окрнеркейс портит малину и единственное что можно сделать — это отфильтровать нахер наллы
Это уже пойдёт против логики программ на других языках
GP
что интересно он долежн вывести в схему если у него датафрейм из (Int, Int, String, Null, Int)