Size: a a a

DevOps — русскоговорящее сообщество

2020 June 22

ИН

Игорь Непрограммист... in DevOps — русскоговорящее сообщество
George Gaál
я бы сделал основной сервис, который ходит в докер демона и имеет ручку для создания этих задач.
При поступлении нового кода - он создает любым УДОБНЫМ для тебя способом контейнеры (N штук по количеству анализаторов) и запускает в них процесс. Дожидается их окончания. При этом у тебя максимально железобетонная изоляция, которая вообще возможна на уровне докера, по ресурсам. Далее собирает результат выполнения и кладет в базу
вот это неплохо, норм подкинул для размышлений
источник

ИН

Игорь Непрограммист... in DevOps — русскоговорящее сообщество
еще для ясности, может кто докинет идей, у меня есть рабочая версия которая работает сейчас так:

1. получаем код
2. поднимаем контейнер, код надо где-то 5-15 раз скомпилировать/запустить/проанализировать
3. компилируем/запукаем/анализируем 5-15 раз в этом контейнере одновременной через EXEC
4. получаем результат всех 15 вызовов EXEC
5. собираем их в отчет
источник

ИН

Игорь Непрограммист... in DevOps — русскоговорящее сообщество
проблемы:
1. долгий бутстрап контейнеров (пункт 2)
2. совершенно рандомные показатели для одного и тогоже когда по времени ввыполнения и использованию CPU, думаю из-за одновременных вызовов EXEC
источник

ИН

Игорь Непрограммист... in DevOps — русскоговорящее сообщество
чтобы решить долгий бустрап я хочу сделать пул контейнеров:
1. создаю скриптом пул контейнеров
2. записываю их в бд
3. код приложения с ними взаимодействует, помечая каждый контейнер в бд занят/не занят
4. через час свободные контейнеры я сношу и на их место ставлю новые или рестарчу
источник

ИН

Игорь Непрограммист... in DevOps — русскоговорящее сообщество
критика/предложения/советы плиз)
источник

MM

Max Muravyev in DevOps — русскоговорящее сообщество
Хай,

Есть две VPC в одном регионе. Между ними пиринг. У vpc_1/subnet _1 (vpc_1: 10.216.0.0/16) есть роутинг-тэйбл:

10.212.0.0/16 --- pcx-00159df84486142fa // на vpc_2
10.216.0.0/16 --- local
0.0.0.0/0 --- igw-046347a9c201cd68a

Ну т.е. для второй VPC (vpc_2: 10.212.0.0/16) шлем трафик через этот пиринг. Собственно, есть хост в этом vpc_1/subnet_1 и на нем висит SG:

Outgoing:
All trafic -- all -- all -- 0.0.0.0/0

Ну и есть хост в vpc_2/subnet_2 (vpc_2: 10.212.0.0/16). Там не важно какой роутинг-тэйбл, c SG у хоста так:

Inbound:
TCP -- 3128 -- 10.216.0.0/16

Вопрос: что я еще упустил, ибо как не могу достучатться по порту из vpc_1/subnet_1 в vpc_2/subnet_2:

[xxx@xxx ~]$ ip addr | grep eth0 | grep inet
   inet 10.216.1.10/24 brd 10.216.1.255 scope global dynamic eth0
[xxx@xxx ~]# telnet 10.212.11.22 3128
Trying 10.212.11.22...
^C

Порт слушается, айпитэйблс и прочее выключено.
источник

ИН

Игорь Непрограммист... in DevOps — русскоговорящее сообщество
George Gaál
я бы сделал основной сервис, который ходит в докер демона и имеет ручку для создания этих задач.
При поступлении нового кода - он создает любым УДОБНЫМ для тебя способом контейнеры (N штук по количеству анализаторов) и запускает в них процесс. Дожидается их окончания. При этом у тебя максимально железобетонная изоляция, которая вообще возможна на уровне докера, по ресурсам. Далее собирает результат выполнения и кладет в базу
исходя из этого можно вместо одновременных вызовов exec сделать контейнеры, как думаешь тогда проблема рандомного времени выполнения и CPU решиться?
источник

GG

George Gaál in DevOps — русскоговорящее сообщество
Игорь Непрограммист
чтобы решить долгий бустрап я хочу сделать пул контейнеров:
1. создаю скриптом пул контейнеров
2. записываю их в бд
3. код приложения с ними взаимодействует, помечая каждый контейнер в бд занят/не занят
4. через час свободные контейнеры я сношу и на их место ставлю новые или рестарчу
долгий бутстрап в случае докера - ? ты серьезно? я бы сказал, что он минимален, а образы для анализаторов всегда можно держать в локальном кэше докера
источник

GG

George Gaál in DevOps — русскоговорящее сообщество
чтоб стартовали максимально быстро
источник

GG

George Gaál in DevOps — русскоговорящее сообщество
Игорь Непрограммист
исходя из этого можно вместо одновременных вызовов exec сделать контейнеры, как думаешь тогда проблема рандомного времени выполнения и CPU решиться?
если ты каждому контейнеры назначишь свои ресурсы - проблема станет существенно менее острой
источник

ИН

Игорь Непрограммист... in DevOps — русскоговорящее сообщество
George Gaál
долгий бутстрап в случае докера - ? ты серьезно? я бы сказал, что он минимален, а образы для анализаторов всегда можно держать в локальном кэше докера
1-2 сек это долго
источник

D

DevOps Help Bot in DevOps — русскоговорящее сообщество
This command works on replied messages only.
источник

D

DevOps Help Bot in DevOps — русскоговорящее сообщество
Report on spam message was send to admins. Plz be patient.
источник

Z

Zanyan in DevOps — русскоговорящее сообщество
привет. вопрос на полминуты. если вдруг чатом ошибся, извиняйте.

собственно, вопрос - если отключить ssh-сервер и перезагрузить машину, ssh-сервер будет запущен после перезагрузки автоматически?

ОС ubuntu 18.04
источник

K

Koldonuuchu in DevOps — русскоговорящее сообщество
Zanyan
привет. вопрос на полминуты. если вдруг чатом ошибся, извиняйте.

собственно, вопрос - если отключить ssh-сервер и перезагрузить машину, ssh-сервер будет запущен после перезагрузки автоматически?

ОС ubuntu 18.04
Зависит от того стоит ли он на автозапуске. Если был выполнена комманда systemctl disable sshd, то не будет стартовать после перезагрзуки
источник

MC

MR CLIENT in DevOps — русскоговорящее сообщество
Zanyan
привет. вопрос на полминуты. если вдруг чатом ошибся, извиняйте.

собственно, вопрос - если отключить ssh-сервер и перезагрузить машину, ssh-сервер будет запущен после перезагрузки автоматически?

ОС ubuntu 18.04
service sshd status
источник

K

Koldonuuchu in DevOps — русскоговорящее сообщество
А если просто systemctl stop sshd, то после перезагрузки он запуститься
источник

MC

MR CLIENT in DevOps — русскоговорящее сообщество
источник

MC

MR CLIENT in DevOps — русскоговорящее сообщество
если enabled - включен. disabled - выключен автостарт.
источник

Z

Zanyan in DevOps — русскоговорящее сообщество
Koldonuuchu
А если просто systemctl stop sshd, то после перезагрузки он запуститься
sudo service ssh restart - это тоже самое или это вообще что-то с ssh-клиентом связано?
источник