или еще чо

driver:
 cores: 1
 memory: 4G
executor:
 cores: 1
 memory: 4G
 instances: 4

гц еще посмотри

у мя метрики пишутся все, я гляну

у меня было похоже что колво ядер и памяти не давало эфекта тока по тому что нода была занята гцой

много аллкоаций кривыми лапками

у тебя может не так конечн

да не, я на гц тайм смотрю, он там нормальный

норм

И с пцром) Я то не против, тем более, что у нас всегда трансляция, только площадки нет

Может тут есть ребята с датастакс?)

Dumbass• Sabine has been banned! Reason: CAS ban.

◊•ⱷш0к0лАдⱷ•◊• Jerrilee has been banned! Reason: CAS ban.

Что за нашествие ботов? )

Коллеги, есть вопрос. У нас Spark 3.1 запускается через блокноты Zeppelin 0.9 на планировщике YARN (Хотя и на спарковом Шедуллере аналогично), но получается так, что после выполнения задачи не закрываются и висят, а в некоторых случаях повторный запуск приводит к вечной загрузки задачи в планировщик. Никак не можем найти как это исправлять в настройках Цеппелина.

Рибята, а есть способ ньютайпы как-то или рефайнед типы поддерживать спарком (DF / DS API)? Я анкодер свой могу руками написать (если например у меня NonEmptyString, то он в утф8 стринг и из кодит), но разумеется это все бесполезно становится когда я этот нонемптистринг сую в кейскласс; спарк просто не может подцепить мой анкодер. Все красиво можно было бы решить UDT, но они возможны только для над типов Null; а рефайнеды и ньютайпы экстендят AnyVal

Явно закрывать Спарк сессию в ноутбуке не помогает ?

Иногда помогает. Но не всегда она закрывается.

А задачи точно висят? А не упали где-то в ячейке и не доходят до останова?

═╬Zлой_Nаркоте╬═ Pansie has been banned! Reason: CAS ban.