GP
когда ты вывел схему
Size: a a a
2020 May 27
GP
то ты можешь хоть налы хоть не налы туда пихать он скорее всего сожрает это
ПФ
так. joinWith оставляет эту схему, так?
ПФ
но переделывает её на тупл
GP
так. joinWith оставляет эту схему, так?
думаю да) не буду врать - не помню чо там делается конкретно)
GP
он ее точно не выводит с нуля
GP
ты вот в примере где делаешь .toDS попробуй руками схему воткнуть
GP
наверное сработает
ПФ
так, но у меня на уровне схемы тоже летает наллабл тип. Тогда NPE быть н едолжно по этой логике
ПФ
о, интересно, ща попробую
AS
интересно получается
GP
верно отработало
GP
ну короче да, что бы нормально работало надо заранее в схемы хакладывать верные сигнатуры
AS
ну короче да, что бы нормально работало надо заранее в схемы хакладывать верные сигнатуры
это понятно, но почему при show не отвалилось?
GP
это понятно, но почему при show не отвалилось?
наверн глотает ошибки
GP
)) яб ток коллектом проверял конечно
ПФ
ты вот в примере где делаешь .toDS попробуй руками схему воткнуть
ну задавать схему только с интеджером спарк запрещает )
AS
наверн глотает ошибки
читерят, приводят к String
val castCols = newDf.logicalPlan.output.map { col =>
// Since binary types in top-level schema fields have a specific format to print,
// so we do not cast them to strings here.
if (col.dataType == BinaryType) {
Column(col)
} else {
Column(col).cast(StringType)
}
}
val castCols = newDf.logicalPlan.output.map { col =>
// Since binary types in top-level schema fields have a specific format to print,
// so we do not cast them to strings here.
if (col.dataType == BinaryType) {
Column(col)
} else {
Column(col).cast(StringType)
}
}
GP
читерят, приводят к String
val castCols = newDf.logicalPlan.output.map { col =>
// Since binary types in top-level schema fields have a specific format to print,
// so we do not cast them to strings here.
if (col.dataType == BinaryType) {
Column(col)
} else {
Column(col).cast(StringType)
}
}
val castCols = newDf.logicalPlan.output.map { col =>
// Since binary types in top-level schema fields have a specific format to print,
// so we do not cast them to strings here.
if (col.dataType == BinaryType) {
Column(col)
} else {
Column(col).cast(StringType)
}
}
лол; спасибо