ПФ
хммм
Size: a a a
2020 December 28
ПФ
блин
С
Просто отключить ссылки и картинки всем
С
А
никто не сталкивался с тем, что spark 2.3 с 1 worker не загружает больше 4294967295 строк из mssql ?
ПФ
никто не сталкивался с тем, что spark 2.3 с 1 worker не загружает больше 4294967295 строк из mssql ?
какая интересная цифра. 42 миллиарда… Я сначала подумал что это типа диапазон инта, но нет
ПФ
А, 4 миллиарда!
А
какая интересная цифра. 42 миллиарда… Я сначала подумал что это типа диапазон инта, но нет
2³² - 1
А
да, похоже на это, но неужели ограничение спарка? или всеже гдето в другом еще может?
ПФ
да, похоже на это, но неужели ограничение спарка? или всеже гдето в другом еще может?
ну да, скорее всего ограничение спарка
ПФ
явно же 32-битный инт
А
не нахожу в гугле, чтоб ктото еще с такой проблемой сталкивался - это странно
А
вообще странное поведение, потому что spark не выводит ошибок, говорит, ОК, я все загрузил, а по факту строк больше.
посмотреть бы на этот участок кода, возможно уже пофиксили после 2.3
посмотреть бы на этот участок кода, возможно уже пофиксили после 2.3
ПФ
О, а может это драйвер? Типа spark-jdbc изначально всё в массив вычитывает, например
ПФ
Что мускуль говорит, какой в него запрос приезжает?
ПФ
С массивом не может быть, он только неотрицательными числами индексируется
ПФ
Что будет если вычитать четыре миллиарда и заюнионить с ещё 4 миллиардами?
А
может быть и драйвер, точней пока проверить не могу. Как workaround решил разбить выемку данных на 4 таска со своим предикатом фильтрации
А
если было бы переполнение unsigned int, то поидее spark должен был кинуть исключение
t
никто не сталкивался с тем, что spark 2.3 с 1 worker не загружает больше 4294967295 строк из mssql ?
Сколько элементов на партицию у тебя на выходе должно получиться?