не может быть такого, что все это меньше 1 и floor вгоняет результат в 0 и в итоге ты получаешь одну суперпартицию?

Судя по дебагу - так и есть, но не пойму почему это так, завтра буду дебажить

Но вообще там count_in_partition около 18 миллионов, а required_rows где-то 800к

Народ, не подскажете, как прочитать сложно структурированный json если НЕ хочется поддерживать схему. Читать и вытаскивать только тот атрибут что мне нужен и плевать на изменения структуры json в целом

Пр. этом json с вложенной структурой

get_json_object(col, pattern)

Интересно. Вот прочитал json в DF и струтктура та же, надо только теперь понять как обратиться к нужному атрибуту

Мне кажется если это примитивное значение, то можно и регулярными искать

Как мне из схемы DF вытянуть путь к нуному аттрибуту?

не понял вопроса

схема это же и есть нужное тебе дерево

Нужно селать что то вроде explode

напиши псевдокод

Развернуть структуру в обычную таблицу

root
|-- info1: struct (nullable = true)
|    |-- field1: string (nullable = true)
|    |-- field2: string (nullable = true)
|-- info2: array (nullable = true)
|    |-- element: struct (containsNull = true)
|    |    |-- field3: string (nullable = true)
|    |    |-- field4: string (nullable = true)
|    |    |-- info3: array (nullable = true)
|    |    |    |-- element: struct (containsNull = true)
|    |    |    |    |-- field5: string (nullable = true)
|    |    |    |    |-- field6: string (nullable = true)


получить

info1 | field1 | field2 | info2 | field3 | field4 | info3 | field5 | field6 |

До первой вложенности exploid а вот как вторую вложенность разложить не понимаю

exploid от exploid ?

Разобрался. exploid в неколько шагов

Классика

Вопрос
Как посчитать количество записей DF самым не тяжолым способом. по быстрому