Телеграмм чат группы jenkins

18:33пожаловаться #1

DB

łibfitź.r13.a

Господа, подскажите, куда копать.
Есть дженкинс в амазоне, есть слейвы там же, часть из них в другом VPC. Подключаются по jnlp. Дженкинс за nlb, нужный порт настроен. Агентский jar запущен через systemd, type=simple
Слейвы подключаются и вроде бы работают, какое-то время. Потом сами рандомно отваливаются. В логах системд

Feb 11 14:16:13 verum-dev-synapse jenkins-agent[74803]: Feb 11, 2021 2:16:13 PM hudson.remoting.jnlp.Main$CuiListener status
Feb 11 14:16:13 verum-dev-synapse jenkins-agent[74803]: INFO: Connected
Feb 11 14:22:03 verum-dev-synapse systemd[74393]: Stopping Jenkins agent...
Feb 11 14:22:04 verum-dev-synapse systemd[74393]: jenkins-agent.service: Main process exited, code=exited, status=143/n/a
Feb 11 14:22:04 verum-dev-synapse systemd[74393]: jenkins-agent.service: Failed with result 'exit-code'.
Feb 11 14:22:04 verum-dev-synapse systemd[74393]: Stopped Jenkins agent.

В логах дженкинса полно такого

Feb 11, 2021 2:41:27 PM INFO hudson.TcpSlaveAgentListener$ConnectionHandler run
Connection #56,945 failed: java.io.EOFException

Feb 11, 2021 2:41:29 PM INFO hudson.TcpSlaveAgentListener$ConnectionHandler run
Connection #56,946 failed: java.io.EOFException

Самое интересное, что часть агентов спокойно работает, а часть нет. Инстансы не загружены, оом процессы не убивает
Почему java внезапно ловит 143 - я не могу понять никак :(

попробовать включить websocket. но нам не слишком помогло
агентский порт за балансером агенты не любят. мы пускали напрямую

18:33пожаловаться #2

DB

только у нас не амазон

18:34пожаловаться #3

DB

но суть та же

18:34пожаловаться #4

ł

łibfitź.r13.a in jenkins_ru

Dmitry Burmistrov

попробовать включить websocket. но нам не слишком помогло
агентский порт за балансером агенты не любят. мы пускали напрямую

Напрямую оно у вас нормально работает, без случайных танцев с отвалами?

18:35пожаловаться #5

DB

да тоже отваливается. но не так часто

18:36пожаловаться #6

DB

с websocket вообще редко

18:37пожаловаться #7

D

Dmitrич in jenkins_ru

гайз, есть пайплайн, состоящий из нескольких последовательных джоб, и есть нода, на которой выполняется этот пайплайн
у ноды установлен 1 executor
есть проблема, что когда запущено два пайплайна, то джобы в них выполняются поочередно то из одного то из другого пайплайна на этой ноде
как от этого избавиться?
чтобы сначала выполнялся до конца один пайп, потом уже второй

Вариант 1(нормальный) включить второй экзекутор. Вариант 2(странный) проверить выполняется ли второй пайплайн перед занятием ноды и если выполняется подождать его завершения

18:54пожаловаться #8

s0

Dmitrич

Вариант 1(нормальный) включить второй экзекутор. Вариант 2(странный) проверить выполняется ли второй пайплайн перед занятием ноды и если выполняется подождать его завершения

второй экзекутор нельзя, потому что на ноде поднимается docker-compose и выполняются тесты

18:57пожаловаться #9

DS

гайз, есть пайплайн, состоящий из нескольких последовательных джоб, и есть нода, на которой выполняется этот пайплайн
у ноды установлен 1 executor
есть проблема, что когда запущено два пайплайна, то джобы в них выполняются поочередно то из одного то из другого пайплайна на этой ноде
как от этого избавиться?
чтобы сначала выполнялся до конца один пайп, потом уже второй

а у тебя там в пайпе несколько вызовов node? Иначе очередность не объяснить

19:40пожаловаться #10

DS

Типо
node('node1') {
}
node('node2') {
}
node('node'1) {
}

19:41пожаловаться #11

II

Igor Ivanov in jenkins_ru

гайз, есть пайплайн, состоящий из нескольких последовательных джоб, и есть нода, на которой выполняется этот пайплайн
у ноды установлен 1 executor
есть проблема, что когда запущено два пайплайна, то джобы в них выполняются поочередно то из одного то из другого пайплайна на этой ноде
как от этого избавиться?
чтобы сначала выполнялся до конца один пайп, потом уже второй

Do not allow concurrent builds в настройках джоба — оно?

19:44пожаловаться #12

DS

Igor Ivanov

Do not allow concurrent builds в настройках джоба — оно?

нет, оно просто не дает выполнять одну и ту же джобу параллельно. А у него разные джобы, один пайплайн

19:45пожаловаться #13

II

Igor Ivanov in jenkins_ru

звучит как-то слишком умно, и немного навевает воспоминания о терминологии гитлаба
пайплайн — это ж и есть джоб, не?
или подразумевается что там из одного джоба запускается несколько других?

19:49пожаловаться #14

DS

Igor Ivanov

звучит как-то слишком умно, и немного навевает воспоминания о терминологии гитлаба
пайплайн — это ж и есть джоб, не?
или подразумевается что там из одного джоба запускается несколько других?

нет, джоб это джоб. Пайплайн это пайплайн. Джоб может быть и фристайл без пайплайна вообще. Несколько разных джобов могут использовать один и тот же пайплайн

20:17пожаловаться #15

DS

Хз что там за терминология гитлаба

20:18пожаловаться #16

s0

Dmitry Sergeev

а у тебя там в пайпе несколько вызовов node? Иначе очередность не объяснить

у меня там declarative, но да, в каждом стейдже агент объявлен

21:00пожаловаться #17

s0

pipeline {
  agent none
  stages {
    stage(1) {
      agent {
        label test
      }
      ...
    }
    stage(2) {
      agent {
       label test
      }
      ...
    }
  }
}

21:11пожаловаться #18

DS

pipeline {
  agent none
  stages {
    stage(1) {
      agent {
        label test
      }
      ...
    }
    stage(2) {
      agent {
       label test
      }
      ...
    }
  }
}

сделай один агент на весь пайп. И не будет такой проблемы

21:35пожаловаться #19

s0

Dmitry Sergeev

сделай один агент на весь пайп. И не будет такой проблемы

у меня там несколько стейджей с другим агентом