Using the AWS Glue Data Catalog as the Metastore for Spark SQL - Amazon EMR
https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-glue.html

А в чем проблема?

Так это для емр инстанса?

имелся ввиду именно локальный спарк на своём ноуте

ммм, боты выходят на новый уровень

@pomadchin я в комбоботе выставил ограничение для новых пользователей отправлять картинки и ссылки на 3 дня, спамеры отвалились, сделай у себя также

Выдай бан парню выше

Комбот захотел денег и отключился. Надо бы снова подключить

Ребят, привет. Кто-то сталкивался с таким на pyspark

java.lang.IndexOutOfBoundsException: index: 0, length: 1073741824 (expected: range(0, 0))

. Раздебажить не могу, куда копать, направьте плиз.

Память на экзекьюторах увеличивал, партиций больше выставлял, сэмплирование добавлял, не обошёл.

java.lang.IndexOutOfBoundsException: index: 0, length: 1073741824 (expected: range(0, 0))

Прикольно))
Удалось определить функцию или метод датафрейма, который вызывает это исключение?

Что именно в даге вызывает падение не нашёл пока, но ясно понятно вылетает после экшона. Причем, интересно что это кластер, на локальной машинке такого нет. единственное различие в запусках, что на кластере есть асинхронный аплоадер на s3 и в базу, я уж думаю может в этой части затык😐

Ну и наверное различие в данных?

Пайплайны на которых выскакивает данное сообщение, используют одни данные что в кластере что локально

Коллеги, нужна помощь коллективного разума! Вопрос тем, кто пользуется IntelliJ IDEA + Spark (может быть с Big Data Tools, но не обязательно). Каких фичей с точки зрения анализа кода и квик фиксов не хватает в Идее для работы со Spark? Простые примеры: квик фикс для deprecated методов, что-нибудь для работы с датафреймами/UDF и прочие. Упоминайте меня явно в ответе, чтобы я потом мог все это найти, записать и что-то заимплементить. Заранее спасибо!

привет! подскажите, а как правильно в  IntelliJ IDEA дебажить spark приложение, чтобы можно было  breakpoint ставить
для тестового запуска развернул спарк на локальной машине.
сейчас так выглядит скрипт spark-submit.

spark-submit \
  --master local[4] \
    target/scala-2.11/i2i_optimizer-assembly-2.0.jar 

понятно, что вместо jar файла надо, наверное указать appName но вопрос скорее про подход , а не конкертный скрипт

ну ты в IDEA и запускай тесты, со spark-submit это ты что-то разлетелся

+

не хватает нормальной работы scala плагина который не может зарезолвить java и scala сигнатуры нормально https://youtrack.jetbrains.com/issue/SCL-8666

а вообще может круто было бы сделать хотфикс/варнинг если используемая лямбда захватывает замыкает весь класс, которые не  сериализуемый