Уже сомневаюсь)))

еще может твой hadoopConf - смотрит не туда куда pathHdfs.

Аааа...

Точно. почему то думал что option("header","true") переименовует файл сам, а не создает папку с таким названием... 😳

Я так понял нормального способа указать название файла нет?

Spark не может писать в файл

Параметр оставляет названия «колонок».
А так да, спарк не умеет в запись в конкретный файл

Господа, прошу помощи.

Нужно сделать join двух датафреймов в Spark.

Join делается по двум колонкам - col1 и col2.

При этом, если у нас равны col1, дальнейшее сравнение должно зависеть от значений col2.

Если col1 совпали, но при этом col2 ==Null в любом из датафреймов - то сравнение col2 должно игнорироваться, и join делается только по col1.

Если col1 равны, и col2 is not null в обоих датасетах - тогда join делается по обеим колонкам

Есть ли у кого-то идеи как реализовать такой "игнор"?

Where после джойна по col1

Where("col2_left is null or col2_right is null or col2_left == col2_right")

Спасибо большое, попробую!

Друзья, приветствую!

Подскажите, пожалуйста, по работе спарка.

21/05/27 15:09:22 INFO memory.MemoryStore: MemoryStore started with capacity 4.1 GB
21/05/27 15:09:23 INFO executor.CoarseGrainedExecutorBackend: Connecting to driver: spark://CoarseGrainedScheduler@digital-en.msk.bd-cloud.mts.ru:47109
21/05/27 15:09:23 INFO executor.CoarseGrainedExecutorBackend: Successfully registered with driver
21/05/27 15:09:23 INFO executor.Executor: Starting executor ID 3 on host test-dn-0068.msk.mts.ru
21/05/27 15:09:23 INFO util.Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 51793.
21/05/27 15:09:23 INFO netty.NettyBlockTransferService: Server created on test-dn-0068.msk.mts.ru:51793
21/05/27 15:09:23 INFO storage.BlockManager: Using org.apache.spark.storage.RandomBlockReplicationPolicy for block replication policy
21/05/27 15:09:23 INFO storage.BlockManagerMaster: Registering BlockManager BlockManagerId(3, test-dn-0068.msk.mts.ru, 51793, None)
21/05/27 15:09:23 INFO storage.BlockManagerMaster: Registered BlockManager BlockManagerId(3, test-dn-0068.msk.mts.ru, 51793, None)
21/05/27 15:09:23 INFO storage.BlockManager: external shuffle service port = 7337
21/05/27 15:09:23 INFO storage.BlockManager: Registering executor with local external shuffle service.
21/05/27 15:09:23 INFO client.TransportClientFactory: Successfully created connection to test-dn-0068.msk.mts.ru/172.16.216.91:7337 after 1 ms (0 ms spent in bootstraps)
21/05/27 15:09:23 INFO storage.BlockManager: Initialized BlockManager: BlockManagerId(3, test-dn-0068.msk.mts.ru, 51793, None)
21/05/27 15:09:23 INFO executor.CoarseGrainedExecutorBackend: Got assigned task 0
21/05/27 15:09:23 INFO executor.Executor: Running task 0.0 in stage 0.0 (TID 0)
21/05/27 15:09:23 INFO broadcast.TorrentBroadcast: Started reading broadcast variable 0
21/05/27 15:11:30 ERROR shuffle.RetryingBlockFetcher: Exception while beginning fetch of 1 outstanding blocks
java.io.IOException: Failed to connect to digital-en.msk.bd-cloud.mts.ru/10.72.20.233:34595

Прикладываю фрагмент лога. Вопрос такой: Что (оно же значит кто, в идеале в ответ вложить какой сервер, если из этой части лога понятно) пытается законнектить с указанным сервером и не может? Я не понимаю, откуда мне пробить доступность..

test-dn-0068.msk.mts.ru -> digital-en.msk.bd-cloud.mts.ru ?

Т. Е. Экзекьютор пытается вернуть на клиента и не получается в связи с недоступность порта (Т. К. Недоступна сеть).

Как и предполагал.. Спасибо.

Нет )

Бань сразу, чет наплыв во все чаты этих «скучающих» дам

Что за дискриминация? Девочки может нормальную профессию хотят получить. Сегодня эскортница, завтра скала девелопер

Или совмещают, буквально многостаночники

Ща из вебкама в девопсы идут