скорее всего проблема вот в этом:

scala> new Iterator[Int] { var i: Long = 0; def hasNext = i < (Int.MaxValue.toLong + 1); def next = {i += 1; 0} }
res13: Iterator[Int]{def i: Long; def i_=(x$1: Long): Unit} = <iterator>

scala> res13.length
res14: Int = -2147483648

scala> new Iterator[Int] {
    | var i: Long = 0
    | def hasNext = i < (Int.MaxValue)
    | def next = { i += 1; 0 }
    | }
res2: Iterator[Int]{def i: Long; def i_=(x$1: Long): Unit} = <iterator>

scala> res2.length
res3: Int = 2147483647

Тебе надо увеличить количество партиций. Я думаю, что количество элементов на воркер непричем.

P.S. Спарк при чтении источника возвращает RDD[InternalRow], который на воркерах представлен в виде партиций типа Iterator[InternalRow]

Да, увеличил число партиций (это и имел в виду под воркерами)
сколько точно будет строк - count завис на запросе в источнике)

посмотрел немного код spark.jdbc и вроде нет завязки на maxvalue https://github.com/apache/spark/blob/master/sql/core/src/main/scala/org/apache/spark/sql/execution/datasources/jdbc/JdbcUtils.scala#L319
или я не туда смотрю?

не туда смотришь

проблема более глобальная - ты не можешь создать больше Int.MaxValue в Iterator[T] (и не только в нем - кажется, что во всех стандартных коллекциях в скалке)

аа, вот оно что

хотелось бы, конечно, exception увидеть, а не вот так вот..

Даже в Sequence?

А если итератор бесконечный?

Посмотри код выше, я попробовал Int.MaxValue + 1

он вернул переполнение в .length

А если это сделать итаратором лонгов?

так тип элемента то тут непричем

Хоть Iterator[Apple]

Да в принципе хорошо что ограничение есть такое

Сейчас бы такие куски грузить на ноды а потом чтоб шафл был дольше выгрузки

Ну вообще вроде бесконечные итераторы не нарушают контрактов

стримы *

С другой стороны нафига оно в спарке непонятно