T
Спарк в спот инстансах? Это только для сильных!
все зависит от задачи
Size: a a a
2020 June 02
ЕГ
Думаю, какие возможности есть, такие и используют, не у всех есть вообще кластеры
PK
Ну все, ща в сайнтисты пойду, ядро шатать.
Не-не, все места заняты )
T
в комбинации с инстасфлиит на коротких задача до 4х часов все норм живет
NN
Не-не, все места заняты )
Да что ж такое
PN
Не-не, все места заняты )
AS
Нахер этот Спарк, спрашивается? )
подожди, а Хуанг тут для кого тут рассказывал как gpu в спарке будет бороздить мировые океаны? дал бог кластер, даст и задачу
N
Евгений Глотов
Разработчики спарка такие "а давайте 30% утечки памяти запишем в юзер мемори"😆👌
С чего такой вывод?
PK
подожди, а Хуанг тут для кого тут рассказывал как gpu в спарке будет бороздить мировые океаны? дал бог кластер, даст и задачу
Не, ну это ж другое совсем )
PK
Nikolay
С чего такой вывод?
Из бритвы Хэнлона скорее всего)
ЕГ
Nikolay
С чего такой вывод?
Да это шутка была)
IK
Всем привет!
Может кто-нибудь в двух ссылках помочь, рассказаать как правильно
mmlspark поставить на кластер?
чтобы под python api работало
Друг интересуется
Может кто-нибудь в двух ссылках помочь, рассказаать как правильно
mmlspark поставить на кластер?
чтобы под python api работало
Друг интересуется
2020 June 03
ПФ
Проблема в том, что я несколько раз на нее натыкался в разных местах, когда пытался разобраться в мемори менеджменте. И в одной презе датабрикса я слышал упоминание вот этой юзер мемори. И это путает, безусловно.
кажется надо просто почитать про хип/оффхип и не забивать себе голову
ПФ
Ваще канеш ржака была, когда в кейноуте на Спарк саммите создатель scikit-learn показал результаты опросов дата сатанистов, типа с каким размером датасетов вы работаете. И там уверенная такая медиана где в 10гб была
ну потому что 10 гигов сложно крутить на локальной машине уже
PK
ну потому что 10 гигов сложно крутить на локальной машине уже
Да лан, кого сейчас удивишь тачками с терабайтом оперативы?
ПФ
Да лан, кого сейчас удивишь тачками с терабайтом оперативы?
так все ж на макбуках работают, а там вот ток-ток 32 научились )
PK
так все ж на макбуках работают, а там вот ток-ток 32 научились )
На макбуке и Спарк так себе работает )
ПФ
На макбуке и Спарк так себе работает )
Но на 10 гигов должно быть норм :) Даже может быть с
local[2]l
Ivan Kolemasov
Всем привет!
Может кто-нибудь в двух ссылках помочь, рассказаать как правильно
mmlspark поставить на кластер?
чтобы под python api работало
Друг интересуется
Может кто-нибудь в двух ссылках помочь, рассказаать как правильно
mmlspark поставить на кластер?
чтобы под python api работало
Друг интересуется
Я ставил jar по инструкции
TZ
Через spark забираю данные из oracle, в исходной таблички есть тип number который через jdbc парситься в decimal ... мне необходимо этот number промапить в int или double
Пытался это сделать через автогенерацию schema для df с использованием методанных от all_column_tabs, но не смог найти как различить number по его реальному типу ... мб кто сталкивался и знает как быть ?
Пытался это сделать через автогенерацию schema для df с использованием методанных от all_column_tabs, но не смог найти как различить number по его реальному типу ... мб кто сталкивался и знает как быть ?