AA
Веб-морде лучше не верить, а залезть физически на сервер и посмотреть
я на нём, щас вот засабмитил. Вообще не ранилось, повисело в accepted и закрашилось. В консоли ярн не видит логов для этого апп.
Size: a a a
2018 October 30
ЕС
Anton Alekseev
После того как переходит в статус Accepted из Running логи уже не может найти. так и должно быть?
Или вы выполяете команду в момент передачи логов на head ноду класетра, на которой агрегируются логи. Тоже возможно, но очень маловероятно
ЕС
Anton Alekseev
я на нём, щас вот засабмитил. Вообще не ранилось, повисело в accepted и закрашилось. В консоли ярн не видит логов для этого апп.
посмотрите логи для контейнера *001 - это контейнер драйвера
AA
посмотрите логи для контейнера *001 - это контейнер драйвера
смотрю через yarn logs -containerId <Container ID>, возвращает что никаких логов найти не может, ну а в соседнем окне апп висит в статусе accepted.
ЕС
А физически можете зайти в папку где хранятся аггрегированные логи на head ноде?
AA
А физически можете зайти в папку где хранятся аггрегированные логи на head ноде?
Зашёл, папка отстутствует, апп висит в accepted. Тут вообще в разнобой все, что-то залогировалось для других же апп нет папок. (номера по порядку, но остутствуют некоторые)
AA
Кстати между делом пару раз отработало корректно, сейчас опять начинает залипать в accepted
ЕС
Аггрегация запускается после завершения работы. Анализируй те, что завершились failed or done
AA
Аггрегация запускается после завершения работы. Анализируй те, что завершились failed or done
Завершилось с фейлом, в yarn application -list пусто, папочка в логах так и не появилась.😢
ЕС
Или на драйвер и смотри там логи
AA
Или на драйвер и смотри там логи
Драйвер - это воркеры?
ЕС
Одна из воркер нод выбирается драйвером. адрес драйвера можешь посмотреть в консоли или веб морде yarn
AA
Одна из воркер нод выбирается драйвером. адрес драйвера можешь посмотреть в консоли или веб морде yarn
у меня 2 машинки (мастер и воркер), ни там ни там логи не появились.
AA
вот теперь опять, каждый запуск отрабатывает нормально, и логи валятся и заканчивается succeeded.
AA
Старые логи падали с ошибкой - неудается стартовать контейнер, после чего разрыв соединения.
2018 November 01
SK
Всем привет, кто подскажет, делаю кондишн джоин в спарке по координатам, условно abs(x1-x2) <1, данных относительно немного, так что обе таблицы в память влезают, но в итоге по производительности пока хуже чем локально, судя по всему таски распределяются на несколько экзекьюторов, а не размазываются по всем
SK
Есть бест практис для таких джоинов, тип x - float
SK
AC
repartition пробовал?
SK
Пока нет, у меня двойной джоин, по x, y