Как раз то, что нужно!

О каких аналитиках речь? Их щас что то много а то😂

Дата, бизнес, системные, не знаю, какие там ещё - все должны знать sql+python, в идеале ещё pyspark)

У нас с аналитиков только sql требуют, но даже в работе почти не использует его )
Python pyspark  похоже только для тех кто на проектах с хранилищами данных работает, или какие там задачи решать с помощью этого. ?
Просто касательно инженеров данных вопросов нет, но вот что делать аналитику  ? Для ответа на этот вопрос у меня не хватает компетенции ((  мне кажется там какой то пересекающийся  функционал с инженером.

нафига системному аналитику питон?

У нас есть один, он его вместо скуля использует

Чтоб не нанимать 85 аналитиков на каждый чих, а нанять одного, который может делать разные вещи)

а нанимается в итоге хрыч

За 850к/сек😆

Ещё и архитектуру запилить , а то архитектор дорого 😂

Идея для стартапа - нанять сениор архитекторов, которые не знают спарк, успех гарантирован)

выглядит как идея для телекома

ну если они архитекторы кликвью, на что им спарк?

Я всё-таки за то, чтобы архитектор бигдата знал весь зоопарк)

Хотя бы представление имел)

Коллеги, кто закапывался в исходники, когда создан FileScanRDD, можно связать размер прочитанных блоков и размер партиций этого RDD? В сорцах я этого не увидел вообще, но может есть какой-то объект, которого я не нашёл, а у него подходящий метод?

Только дописал вопрос и увидел, что в конструкторе val Seq[FilePartition], а у них есть .files.map(_.length). Вопрос снят))

А какой кейс, посчитать, на сколько партиций блок разбивается, или во сколько раз растут данные при чтении из сжатых файлов?

Хочу подтянуть PartitionPruningRDD, побить исходный RDD на Seq[RDD] и делать им repartition по очереди, потому что пару сотен терабайт шафла наш кластер не вытянет