Size: a a a

2021 January 21

GP

Grigory Pomadchin in Moscow Spark
А жейстек без этого лога бесполезен; ждёт Спарк инпут жобов например
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Ну там примерно вот так:
 INFO [2021-01-21 15:45:56,827] ({dag-scheduler-event-loop} Logging.scala[logInfo]:54) - Block broadcast_160 stored as values in memory (estimated size 22.7 KB, free 910.3 MB)
INFO [2021-01-21 15:45:56,831] ({dag-scheduler-event-loop} Logging.scala[logInfo]:54) - Block broadcast_160_piece0 stored as bytes in memory (estimated size 11.6 KB, free 910.3 MB)
INFO [2021-01-21 15:45:56,832] ({dispatcher-event-loop-6} Logging.scala[logInfo]:54) - Added broadcast_160_piece0 in memory on UNIT-1793.local:45413 (size: 11.6 KB, free: 912.1 MB)
INFO [2021-01-21 15:45:56,833] ({dag-scheduler-event-loop} Logging.scala[logInfo]:54) - Created broadcast 160 from broadcast at DAGScheduler.scala:1163
INFO [2021-01-21 15:45:56,833] ({dag-scheduler-event-loop} Logging.scala[logInfo]:54) - Submitting 1 missing tasks from ShuffleMapStage 149 (MapPartitionsRDD[347] at show at <console>:55) (first 15 tasks are for partitions Vector(0))
INFO [2021-01-21 15:45:56,834] ({dag-scheduler-event-loop} Logging.scala[logInfo]:54) - Adding task set 149.0 with 1 tasks
INFO [2021-01-21 15:45:56,834] ({dag-scheduler-event-loop} Logging.scala[logInfo]:54) - Added task set TaskSet_149.0 tasks to pool default
INFO [2021-01-21 15:45:56,835] ({dispatcher-event-loop-4} Logging.scala[logInfo]:54) - Starting task 0.0 in stage 149.0 (TID 4671, localhost, executor driver, partition 0, PROCESS_LOCAL, 8255 bytes)
INFO [2021-01-21 15:45:56,835] ({Executor task launch worker for task 4671} Logging.scala[logInfo]:54) - Running task 0.0 in stage 149.0 (TID 4671)
источник

ПФ

Паша Финкельштейн... in Moscow Spark
А потом много Cleaned accumulator <тут номер>
источник

GP

Grigory Pomadchin in Moscow Spark
Блин там точно есть какой-то который лог всего делает
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Да я на самом деле делаю tail -f *.log чтобы не ошибиться
источник

GP

Grigory Pomadchin in Moscow Spark
Зря
источник

GP

Grigory Pomadchin in Moscow Spark
Лучше конкретные смотри
источник

GP

Grigory Pomadchin in Moscow Spark
Ты ничего а класспас не сувал?
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Ну как бы да, но так я вижу что всё пишется в лог интерпретатора
источник

GP

Grigory Pomadchin in Moscow Spark
Чистый?
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Grigory Pomadchin
Ты ничего а класспас не сувал?
девственно чистый цеппелин нетинст
источник

GP

Grigory Pomadchin in Moscow Spark
Ясна
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Я написал в мейлинг лист, но понятно что никто ничего не говорит
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Видимо буду лдям показывать датафреймы вместо датасетов )
источник

K

KrivdaTheTriewe in Moscow Spark
в докере запустить бы цепелин и фсе
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Тоже вариант, что, думаешь лучше станет?
источник

K

KrivdaTheTriewe in Moscow Spark
ну лучше изоляция
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Ну непонятно чем лучше изоляция лучше )
источник

K

KrivdaTheTriewe in Moscow Spark
вдруг там питонопроблемы какие
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Но может быть да
источник