Делаем резервные копии postgres на s3 (minio)

В гисте приложен кусочек плейбука ansible который настраивает резервное копирование через mc клиент. скрипт умеет выгружать в bucket по-отдельности каждую базу из списка, оценивать размер и время совершения последнего копирования каждой базы и отдавать эту информацию в формате prometheus, а также подчищать из s3 устаревшие копии.

https://gist.github.com/bykvaadm/434a4eef5392528c9c0e4788937301bc

#postgres
#docker
#patroni
#ansible
#minio
#prometheus

Бесплатный онлайн-митап для Java-разработчиков и тех, кто занимается DevOps – Luxoft TechFest #4 (https://bit.ly/2QNXwcs)

Когда: 3 июня, 18:00 (GMT+3)
Участие: бесплатно
Формат: онлайн
Организаторы: Luxoft и JUG Ru Group

В программе доклад Александра Селезнева – «Карго-культ вокруг DevOps: Как навредить проекту из лучших побуждений».
Доклад затронет:
– Что такое DevOps на самом деле и кому он нужен (а кому нет);
– Три главных провала DevOps-практик;
– Что все-таки нужно для того, чтобы превратить провал в успех.

Смотрите всю программу на https://bit.ly/2QNXwcs

🔥 А еще мы разыграем сертификаты на онлайн-курсы от Luxoft Training, и все участники мипата получат 10% скидку на любой курс.

Подключайтесь, задавайте вопросы и общайтесь со спикерами в дискуссионных зонах. Участие бесплатное, нужно только зарегистрироваться (https://bit.ly/2QNXwcs).

Что лучше: Open Source или Closed Source решения в облачных сервисах?

Всем привет! 3 июня в 18:30 пройдет открытая дискуссия: OpenStack vs VMware. Мы разберем:

— технические стороны работы в облаке на базе OpenStack и VMware,

— преимущества решений,

— применение для разных задач,

— опыт Selectel,

— перспективы развития.

А ещё ответим на все ваши вопросы.

Участие бесплатное, регистрируйтесь по ссылке:

🚀https://slc.tl/vQbt4

у selectel "сложности с сетевой проходимостью в Москве". Разбираются. А выглядит так что дикие потери пакетов даже на простой операции типа ping.

​​DevOps в команду NIX
Харьков / возможность удаленной работы (для жителей Украины)

Ты будешь создавать инновационный продукт для пользователей eBay, Siemens и других компаний из Fortune 500.

Что мы рады тебе предложить?
✔️ Возможность поработать с лучшими RPA-профессионалами мира.
✔️ Опыт в уникальном бизнес-домене.
✔️ Крутая команда, в которой есть выделенные роли для Architect, Application Security Engineer и DBA.
✔️ Помощь в подготовке к MS-сертификации.
✔️ Проектный training time.
✔️ Зарубежные командировки.
✔️ Тренинги и конференции по твоему профилю.

Необходимые знания и навыки:
● опыт в IT от 1 года;
● опыт работы с Azure;
● навыки работы с инструментами сопровождения проекта CI/CD (Azure DevOps, Jenkins (optional);
● уверенное знание SQL Databases (MSSQL);
● опыт настройки и работы с ОС Windows, Ubuntu, Centos;
● опыт работы с платформой SonarQube;
● опыт работы с пакетными менеджерами apt, rpm, chocolatey;
● разговорный английский.

Твои основные задачи:
1. Создание и управление CI/CD процессами.
2. Развертывание новых окружений с использованием Terraform и Ansible.
3. Отладка веб-сайтов IIS на основе .Net Framework и .Net Core.
4. Создание SQL баз данных. Автоматизация выполнения SQL-запросов.
5. Автоматизация ручных процессов посредством скриптов Powershell.

О нас:
NIX ‒ это команда с 27-летней историей. За это время мы создали самое большое комьюнити IТ-специалистов. В нашей команде больше 2500 инженеров и тестировщиков, дизайнеров, аналитиков требований, Sales и Project менеджеров, и многих, многих других классных специалистов.

Если чувствуешь в себе силы и желание присоединиться к нам ‒ заполняй резюме, а собеседование сможешь пройти онлайн.

Больше вакансий по этому проекту здесь.

​​🔥DevOps, пора расти дальше! Начните путь к апу на бесплатных вебинарах онлайн-курса «Инфраструктурная платформа на основе Kubernetes»:

📌Завтра, 3.06 — «Demo Day курса «Инфраструктурная платформа на основе Kubernetes»: https://otus.pw/W0zZ/
— Ответим на все вопросы, расскажем о хардкорной программе, преподавателях и темах, необходимых для сертификации от CNCF. Поделимся инсайдами о карьерных перспективах и максимальных скидках на курс.

📌2-дневный практический интенсив «Примитивы, контроллеры и модели безопасности k8s»: https://otus.pw/bqyh/

👉Регистрируйтесь сейчас — напомним в день вебинара!

А еще мы ищем себе в команду админа-девопса: https://hh.ru/vacancy/45158734

для отклика на вакансию пишите в лс мне (@bykva) или по контактам в вакансии

10 июня Cloud Builders Community проводит бесплатный онлайн DevSecOps Build-up. В программе:

🔸Continuously Implementing DevSecOps in AWS — Volodymyr Shynkar, Senior Lead DevOps Engineer в Intellias.
🔸Fireside chat в формате Cloud AMA (ask me anything) с Matt Stratton, Staff Developer Advocate в Pulumi.
🔸 Fireside chat в формате BYOP (bring your own problems) с Chloé Messdaghi, Growth Strategy Consultant в Stand Out In Tech.

Модератор –– Victoria Almazova, Senior Security Architect в Microsoft.

Язык — английский.
🕘 Дата и время: 10 июня, 7 pm - 8:45 pm (UTC+3)

👉 Регистрация (https://bit.ly/CBDevSecOpsEdition)

ГК «Иннотех» объявляет о старте регистрации на второй онлайн хакатон INNOHACK 2.0 с общим призовым фондом 1 200 000 рублей.

Регистрируйся прямо сейчас https://bit.ly/34stxKc
Дедлайн регистрации 15 июня 23:59.

INNOHACK 2.0 включает в себя 5 актуальных бизнес-задач, заботливо отобранных экспертами ГК «Иннотех»:
1. Геймификация обучения;
2. Информационная безопасность;
3. Генерация форм;
4. Маркет для поиска инвесторов;
5. Метчинг потенциальных кандидатов.

Профиль задач и требования к решениям хакатона предполагает участие Middle- и Senior-специалистов по направлениям:
- Java;
- JavaScript;
- iOS/Android;
- Системной аналитик;
- DevOps;
- QA;
- UI/UX.

Вкусные офферы от ГК «Иннотех» прямо во время хакатона или сразу после участникам, проявившим себя с лучших и профессиональных сторон.

Рекомендации участникам:
• Соберите команду из коллег, друзей и единомышленников.
• Если нет команды, то можно найти ее на платформе хакатона - там есть информация о всех командах и участниках. Если не нашли, мы поможем найти самых крутых тиммейтов. Просто напишите нам:).
• Не пропустите дедлайн регистрации 16 июня.
• Будьте рядом с высокоскоростным интернетом и обеспечьте наличие веб-камеры и микрофона во время онлайн-хакатона.

Открытие и публикация подробной информации по заданиям состоятся 18 июня в 19:00, а финал 20 июня в 15:00.

Регистрируйся по ссылке: https://bit.ly/34stxKc

​​Десятая конференция ZeroNights пройдет 30 июня в летнем Петербурге  📢

Меж­дународ­ная кон­ферен­ция по информационной безопасности ZeroNights приглашает отметить свое десятилетие в неформальной обстановке 30 июня в пространстве «Севкабель Порт». Вас ждет насыщенный день и мощная программа с тематическими активностями.

Для кого?
Сре­ди учас­тни­ков кон­ферен­ции – тех­ничес­кие спе­циалис­ты, адми­нис­тра­торы, руково­дите­ли и сот­рудни­ки служб ИБ, пентестеры, прог­раммис­ты и все, кто инте­ресу­ется прик­ладны­ми аспектами отрасли.

Что будет?
– Док­лады клю­чевых спи­керов и выс­тупле­ния основной прог­раммы  (клу­б «МОР­ЗЕ»).
– Выступления секций Defensive Track, Web Village и Hardware Zone будут про­ходить на свежем воздухе в фор­мате open-air на прос­торной набереж­ной.
Кры­тые три­буны обес­печат слу­шате­лям ком­форт в любую погоду.

Подробности, программа и билеты на сайте — https://zeronights.ru/

Доступны материалы с последней встречи Московского отделения OWASP: "Evolution of Application Security Programs through OWASP SAMM 2.0", Yan Kravchenko, слайдыслайды, видеовидео

Не пропустите секцию вопросов и ответов в конце выступления

Также на канале OWASP SAMM опубликованы видео с недавнего "OWASP SAMM User Day"OWASP SAMM User Day".

​​🔥23 июня пройдет восьмой онлайн-митап сообщества DevOpsMinsk при поддержке Wargaming, EPAM и ISSoft.

Спикеры рассмотрят систему Log Management на примере Loki и помогут разобраться, как создать частное облако для европейского университета.

Регистрируйтесь!

Когда нужно ролью ansible положить некоторое количество файлов, можно это сделать методом создания директорий, а потом каждый файл класть по-отдельности. Но это подход, который не слишком-то удобен и требует переписывать каждый раз код. Для того чтобы автоматизировать этот процесс можно пользоваться фильтрами with_filetree\fileglob:

- name: ensure www dirs
  file:
    path: "/var/www/{{ item.path }}"
    state: directory
    owner: root
    group: root
    mode: 0755
  with_filetree:
  - files/www
  when: item.state == 'directory'

- name: ensure apple files
  copy:
    src: "{{ item.src }}"
    dest: "/var/{{ item.src | regex_search('www/(vhost1|vhost2)/.*') }}"
  with_filetree:
  - files/www
  when: item.state == 'file'

первый таск создаст все директории с учетом вложенных, какие бы не были в files/www, а второй таск положит все файлы какие бы там не были, сохраняя расположение файлов в дереве каталогов.

#ansible

Еще в догонку по ансиблу - о булевых выражениях. Сейчас будет ооочень очевидная вещь, но True и true - это разные вещи. Почему-то раньше я дико тупил и все мои булевые проверки были такими:

{% if anyvar | bool %}
или
when: anyvar | bool
или еще хуже
when: anyvar | bool == "true"

хотя на самом деле всё очень просто. true - строка. True\False - bool.

поэтому объявляем переменную мы так:

anyvar: True

и проверку делаем так:

when: anyvar
{% if anyvar %}

#ansible #очевидное

Генератор ссл конфигов от мозиллы

не претендует на новизну, но я наткнулся впервые. Позволяет сформировать конфиг с указанием полезных параметров ssl в зависимости от используемой версии веб-сервера, вендора (можно выбрать из порядка 15 вариантов) и библиотеки ssl. Заметный минус сразу заключается в том что база версий не очень валидирует введенные значения. так спокойно можно ввести версию nginx 1.19.999 и он отобразит для него конфиг. ну, такое. Так что доверять конфигу в зависимости от версии нужно осторожно.

https://ssl-config.mozilla.org

☁️ All about AWS 2021 ☁️

В этом году вы узнаете о миграции AWS и ее стратегиях.
15 июля на бесплатном онлайн-ивенте спикеры AWS и SoftServe расскажут:
- что такое миграция в клауд и как ее планировать, чтобы экономить время и растраты;
- почему бизнес решает оставаться в дата центрах без инновационных решений и как с этим бороться.

🔥 16 июля у вас будет возможность принять участие в AWS GameDay.

Регистрация и детали 👉https://bit.ly/3h39utc

certbot snippet

Получаем сертификат используя ручками-записанную запись в dns. все директории локальные ради того чтобы вы создали их, получили серт и удалили весь мусор.

certbot --config-dir ./config --work-dir ./work --logs-dir ./logs certonly --preferred-challenges dns --manual -d company.com --email admin@company.com --agree-tos

З.Ы. как обычно не претендую на новизну. Просто полезная заметка к которой я сам буду время от времени обращаться

Flatcar update

Flatcar - контейнерная ОС, которая практикует запуск 100% пользовательских приложений только в контейнерах. А обновления похожи на процесс как у сетевого оборудования: оно поставляется как полный слепок корневого раздела (которое в рабочем состоянии смонтировано на RO) и если вдруг обновление после перезагрузки прошло криво - откатится на предыдущую версию.

Status check

# manual release check here: https://kinvolk.io/flatcar-container-linux/releases/
cat /etc/os-release
update_engine_client --status

Force update to latest release in channel

update_engine_client --reset_status
update_engine_client --check_for_update
sleep 30
update_engine_client --update

#flatcar