На днях полностью актуализировал и дополнил статью про Webpagetest.

https://serveradmin.ru/webpagetest-lokalnaya-ustanovka-i-nastroyka/

Это сервис по тестированию производительности веб сайта. На мой взгляд это лучший сервис подобного типа. Мало того, что он предоставляет информацию для профессионального аудита сайта, так его еще можно развернуть на своих серверах.

Как раз о настройке private instance я и рассказываю в статье. У меня развернут свой публичный сервис на основе webpagetest, но сюда ссылку не даю, так как он просто ляжет, если хотя бы 10-15 человек придут его проверять. У меня там по одному агенту в Москве и Питере стоит, а каждая проверка в среднем минуту - полторы длится. Если что, ссылка в самой статье есть.

А если хочется прямо сейчас посмотреть, как это работает - https://webpagetest.org. Сервис просто отличный. Я им пользуюсь уже несколько лет и могу смело рекомендовать. Вы его даже на своем компе можете быстро в докере запустить, проверить все, что надо и удалить. Для этого я собрал docker-compose. Все есть в статье.

Неплохое видео по теме - https://www.youtube.com/watch?v=IyEJeZzeIzk

📆 Завтра, 22 Дек, Вторник 10:00 пройдет вебинар Zabbix + Grafana: визуализация для Вас и Вашего руководителя.

Тема в целом не сложная. Настроить интеграцию заббикса с графаной можно достаточно быстро. У меня есть статья на эту тему - https://serveradmin.ru/nastrojka-intergaczii-zabbix-v-grafana/

Я лично постараюсь посмотреть вебинар, так как данную тему еще не слушал. Возможно увижу что-то интересное и полезное.

Сам я сейчас часто стал настраивать интеграцию с Grafana для настройки дашбордов. В графане это быстрее и удобнее делать.

Регистрация на вебинар - https://us02web.zoom.us/webinar/register/WN_pVx2MN-4R_6YAlS1zQxPWg

#zabbix

Я придумал, как получать в Zabbix список активных процессов на хосте в момент, когда срабатывает триггер на превышение загрузки CPU. Долго обдумывал, как это получше сделать и в итоге наколхозил так:

1️⃣ Добавляю в стандартный шаблон новый айтем типа Zabbix Trapper.

2️⃣ Разрешаю на zabbix agent запуск внешних команд.

3️⃣Настраиваю на Zabbix Server действие при срабатывании одного из нужных мне триггеров. В действии указываю выполнение команды на целевом сервере, которая сформирует список процессов и отправит его на сервер мониторинга с помощью zabbix-sender.

В итоге я получу информацию о запущенных процессах на хосте в момент срабатывания триггера. Это позволит мне спокойно посмотреть, что создает нагрузку, когда у меня будет возможность. Мне не придется идти в консоль хоста и пытаться поймать момент, когда опять появится высокая нагрузка. Все это актуально, когда нагрузка плавающая и вы не можете однозначно сказать, кто нагружает сервер.

Буду рад услышать, как это сделать проще, быстрее, удобнее, безопаснее.

https://serveradmin.ru/monitoring-spiska-zapushhennyh-proczessov-v-zabbix/

#zabbix #мониторинг

​​Для тех, кто не только смотрит рекламу курсов, а регулярно обучается и движется вверх по карьерной лестнице, предлагаю вакансии крупной IT компании. Требования типовые, никакой экзотики, только современный технологичный стек (даже zabbix есть 😎).

Банк ВТБ проходит этап цифровой трансформации, находится в поиске опытных специалистов в Москве и Новосибирске:

Новосибирск:
DevOps и администрирование

Москва:
DevOps

📌 Что нужно делать?
01 Развивать:
◽ построение и сопровождение конвейера непрерывной интеграции\поставки программного обеспечения;
◽ развертывание и поддержка программных продуктов для разработки, тестирования и развёртывания (DevOps);
◽ обеспечение работоспособности прикладных сервисов;
◽ использование технологии контейнеризации (docker, runc) и платформы контейнеризации (open shift, kubernetes);

02 Отслеживать:
◽ работа с системами мониторинга IT-процессов (zabbix, SCOM, HP OpenView, Grafana, Prometheus);

03 Общаться:
◽ коммуникация с разработчиками по проработке и приоритизации задач развития конвейера непрерывной поставки.

📌 Что потребуется:
◽ опыт работы с Linux / Windows системами;
◽ опыт создания Bash или PowerShell скриптов;
◽ опыт администрирования Kafka или RabbitMQ/AMQ;
◽ знание систем управления конфигурацией (Ansible, Chef, etc.);
◽ понимание принципов CI/CD;
◽ опыт работы с docker, kubernetes, openshif, а также с Gitlab, Jenkins, Nexus, Teamcity;
◽ опыт работы по настройке систем мониторинга.

📌 Что вы получите:
◽ фокус на развитие: hard skills в рамках современного технологического стека;
◽ интересные задачи: более 150 крупных проектов и свыше 12 000 внедрений в год. Каждая задача — реальная потребность бизнеса.
◽ карьерный рост: возможность выбора направления для роста и развития. 1100 команд — найдите свою по духу и задачам.

FAQ по найму в ссылках на вакансии. Подробно описан процесс отбора, условия работы, соц.пакет, плюшки и т.д.

#вакансия

Есть одна популярная проблема, с которой я много раз сталкивался в Linux. Утилита df показывает, что у тебя не осталось свободного места на диске. Но если ты с помощью du просуммируешь объем всех директорий в корне, то окажется, что они занимают лишь часть диска. Куда же делся остальной объем?

Чаще всего такое бывает, когда какой-то сервис активно пишет в файл данные, а этот файл вручную удаляют. Сервис ничего не знает про удаление и продолжает писать в удаленный файл. Такое обычно бывает с логами, например веб сервера.

В итоге вы не можете управлять занимаемым местом, так как файл удален, но приложение все еще держит его открытым и пишет в него. Посмотреть на такие удаленные файлы можно с помощью lsof.

# lsof | grep '(deleted)'

Чтобы избежать таких проблем, после ручного удаления перезапускайте сервис, который использовал удаленный файл. А еще лучше настраивайте мониторинг свободного места и ротацию логов.

Одну из таких ситуаций я рассмотрел в статье - https://serveradmin.ru/disk-zanyat-na-100-i-ne-ponyatno-chem-df-i-du-pokazyivayut-raznyie-znacheniya/

Команда Zabbix обновила свое demo с демонстрацией возможностей системы мониторинга Zabbix 5.2. Первый раз это видео появилось во времена 4-й версии. Я уже давал ссылку на него весной в канале. На днях заметил обновление.

Видео на английском, но есть субтитры, так что почти все понятно, даже если плохо знаешь английский.

Видео хорошо подходит для того, чтобы познакомиться с системой, оценить интерфейс и возможности. Так что разработчики молодцы, что придумали такую идеи и сами актуализируют видео. Мало у кого такое встретишь.

https://www.zabbix.com/demo

#zabbix #видео

​​📌 Часто при работе в консоли linux сервера нужно быстро подсчитать сколько места занимает каждая директория. Я для этого использую простой bash скрипт прямо в консоли. Переходим в директорию, где хотим узнать размер папок и запускаем в консоли код:

du -s *| sort -nr | cut -f 2- | while read a;do du -hs $a; done | awk 'NR <=10'

Он выведет только 10 директорий с самыми большим занимаемым ими объемом. Если хотите получить размер всех папок, то удалите в конце awk.

Если надо регулярно проверять объем директорий, то я использую простенький скрипт, который проверяет размер папок и записывает результат здесь же в текстовый файл. Обычно делаю это на больших серверах с бэкапами, когда приходит время понять, какие бэкапы занимают больше всего места.

#!/bin/bash

echo "==================================" >> dir_size.txt
echo "Dirs size `date +"%Y-%m-%d_%H-%M"`" >> dir_size.txt
echo "==================================" >> dir_size.txt
du -s *| sort -nr | cut -f 2- | while read a;do du -hs $a >> dir_size.txt ;done

Скрипт обычно лежит в корне раздела с бэкапами и запускается по необходимости. Можно привязать его запуск к триггеру в мониторинге на низкий уровень свободного места в разделе. Можно и вывод в мониторинг отправлять, хотя обычно это реализуется по-другому. У меня есть статья по мониторингу бэкапов в zabbix.

Сохрани к себе заметку, наверняка пригодится.

⚡️ Хочу в очередной раз напомнить про опасность открытого доступа к RDP порту через интернет. Один знакомый на днях написал, что его инфраструктуру частично зашифровали. Проникновение было через открытый в интернет RDP порт для удаленного подключения.

Я сам несколько раз сталкивался с шифровальщиками. Однажды меня тоже зашифровали через открытый порт со всеми установленными обновлениями в системе. Когда обслуживал офисы, много встречал шифровальщиков. У меня даже раздел есть на сайте, где я рассказываю про свои истории.

Открытый rdp порт гарантирует, что вас рано или поздно зашифруют. Это вопрос времени и везения. Если нужен удаленный доступ именно по rdp, то используйте один из вариантов:

1️⃣ Доступ только через vpn. Самый надежный способ, который решает не только вопрос rdp подключений, но и в целом доступ к инфраструктуре. Основное неудобство vpn - настройка подключения на стороне клиентов. В зависимости от выбранной реализации, это может быть не тривиально, так что нужно писать инструкции или подключаться на пользовательские компы и настраивать подключение. Идеальный вариант - вы сами настраиваете оборудование и передаете пользователю в готовом виде.

2️⃣ Использовать Remote Desktop Gateway (RDG) - шлюз для rdp соединений от Microsoft. Подключение по rdp осуществляется через https соединение. На входе перед RDG можно настроить HAproxy для дополнительной защиты. В целом, надежный вариант. Я не слышал историй взлома подобных шлюзов, хотя нельзя этого полностью исключить.

3️⃣ Open source аналог предыдущего шлюза - Apache Guacamole. Может
проксировать не только rdp протокол, но и vnc, ssh. Работает через браузер с помощью HTML5. В целом удобная и функциональная штука, но периодически в ней находят серьезные уязвимости.

4️⃣ Можете настроить port knocking или аналогичную защиту на шлюзе. Подключение пользователей можно автоматизировать с помощью скриптов. Вариант колхозный, но если у вас мало клиентов и нет желания усложнять инфраструктуру, это может быть нормальным решением.

5️⃣ Ограничение доступа к rdp порту по ip на уровне Firewall. Просто закройте доступ списком статических ip адресов, если у вас есть такая возможность. Очень простой и надежный вариант. К сожалению, чаще всего неприменим из-за динамических ip адресов клиентов.

6️⃣ Замените подключение по rdp каким-то другим удаленным доступом. Выбор инструментов сейчас обширен, как бесплатно, так и за деньги. Другое дело, что эти варианты тоже могут иметь уязвимости, но в целом шанс от них пострадать ниже, чем у rdp. Последний очень популярен и постоянно происходят попытки его взлома.

А вы лично сталкивались с шифровальщиками? Теряли данные из-за них?

​​Существует очень крутой мониторинг Newrelic. Я знаю его давно. Раньше у них был бесплатный тарифный план, позволяющий мониторить, если не ошибаюсь,  до 10-ти хостов. Потом в какой-то момент они убрали бесплатный тариф, и я прекратил им пользоваться.

Это полностью готовый мониторинг, работающий по принципу saas. Вам достаточно установить агент на сервер, указать свой уникальный ключ и все. Дальше агент все сделает сам, а вам останется только зайти в веб интерфейс и смотреть метрики.

Функционал мониторинга очень крутой. Пользоваться удобно. Я мониторил только инфраструктуру с его помощью, то есть сами сервера. Но он умеет гораздо больше - логи, приложения, тесты через браузер и т.д. Даже при мониторинге сервера он автоматом наблюдает за каждым процессом, автоматом находит все docker контейнеры и следит за ними.

Сейчас я узнал, что у него снова появился бесплатный тариф. Я толком не нашел подробностей, но судя по его странице pricing, не тарифицируются данные, объемом менее 100G в месяц. Это очень много, и если это реально бесплатно, то круто. Я пока добавил туда один сервер для теста. Все работает, денег не просит.

Рекомендую попробовать. Настроить очень просто. Буквально зарегистрируетесь и сразу же при первом входе попадете на очень подробное руководство, где вам расскажут, как поставить агента на сервер.

- Что нам мешает выполнить задачу?
- Геометрия!
- Просто игнорируйте её....

Очень интересное видео, прям рекомендую к просмотру. Оно не про ИТ, но очень близко к нему. Особенно понравились комментарии, где по аналогии люди накидали ситуаций. 

https://www.youtube.com/watch?v=UoKlKx-3FcA

- На каком языке лучше делать сайт интернет-магазина? Ruby, PHP, Python?
- А вы сделайте так, что бы можно было выбрать язык.

Я фотограф - ретушер. Приходит однажды ко мне женщина лет 55 и дает фото, на которой сидят она с подругой лыбятся и мужик задом. Так вот она просит развернуть мужика чтоб он тоже смотрел в камеру! Минут 15 втирала ей что это невозможно... Сошлись на том что я просто не разбираюсь!

- Что нам мешает скинуть вниз стекло с 10 этажа при этом не разбив его?
- Физика.
- Просто игнорируйте её.

- Вы профессионал, вот вам деньги, покажите как правильно.
- Вот так правильно.
- Я не согласен.

- Вы делаете сайты ?
- Да. 
- Сделайте тогда нам сайт с зеркальным фоном , чтобы клиент видел своё отражение.

Хочу немного порассуждать в выходной день. На неделе попалась новость про переименование репозиториев в github с master на main. Думаю, любой здравомыслящий человек понимает, что это какая-то глупость. На поверхности практического смысла тут нет и искать не стоит. Для чего же делается эта на первый взгляд бессмыслица?

Очевидно, что все это происходит не само собой. Кто-то активно двигает эту тему в массы. В моем понимании реализуется в полной мере принцип "Разделяй, стравливай и властвуй". Технология, обкатанная столетиями, если не тысячелетиями.

На уровне народов и граждан этот принцип можно наблюдать на таких противостояниях, как "Америка враг России", "Во всем виноваты жиды", "Москва паразитирует на России" и т. д. Вы думаете случайность, что уровень жизни в Москве намного выше регионов? Конечно нет. Достаточно было направить налоговые потоки в нужное русло и все как-будто само собой получилось. А для чего это делается?

Подобные перекосы как гнойные нарывы могут зреть очень долго. Потом достаточно будет небольшого толчка, чтобы начался конфликт. Пока все более ли менее хорошо, нарыв не беспокоит. Но как только начнутся внутренние проблемы, все такие нарывы тут же вскроются и начнется конфликт. Те же еврейские погромы начала 20-го века наглядно это демонстрируют.

Теперь возвращаемся к теме политкорректности и репозиториям. Профессиональные сообщества, в отличие от народов и граждан, более монолитны и сплочены. И этот удар политкорректности направлен именно на них. Для того, чтобы посеять раскол. Если вы внимательно проследите за этой темой, то увидите похожие процессы в среде ученых и спортсменов. Это то, что заметил я лично. Может где-то еще, специально не искал.

Обычно такие процессы, раскалывающие общества, предвестники смутных времен. Добавьте сюда тренд масс медиа на образ будущего в виде постоянных столкновений, кризисов, апокалипсисов и т.д. Все это звенья одной цепи, которые выстраиваются в единый ряд, если окинуть все широким взглядом. К сожалению, в рамках одной заметки эту тему не раскрыть.

В общем, не поддавайтесь на провокации, будьте спокойны и разумны. "Человек человеку друг, товарищ и брат". Только такой принцип межличностных отношений гарантирует спокойное, поступательное движение вперед в развитии общества и отдельных ее членов (тут стоит пояснить, что такое развитие, но это отдельная тема). Любые конфликты и деление на категории, сорта, касты, цвета и т.д. выгодны только тем, кто на самом верху. А мы, простые люди, в этом противостоянии всегда будем проигравшими.

Жму руку, товарищ прочитавший!

https://www.opennet.ru/opennews/art.shtml?num=54297

В выходные обновлял сервера и на одном словил принудительную проверку fsck при загрузке. Все бы ничего, но раздел был на 3Tb, сервер в проде, а проверка шла непрогнозируемо долго.

Не нашел как отключить или отложить это дело простым способом, а с livecd или в single mode загружаться не захотелось, чтобы не ресетить лишний раз виртуалку. В итоге дождался окончания процесса.

В общем, история неприятная. Немного понервничал, так как до конца не было понятно, что процесс закончится удачно и не будет проблем. Из бэкапов все восстанавливать очень долго, так как данных много.

Подробное описание и разбор оформил в статью.

https://serveradmin.ru/a-start-job-is-running-for-file-system-check/

▶️ Посмотрел недавно видео про то, как делают бэкапы в Badoo. Не могу сказать, что вынес оттуда что-то новое для себя в организационном плане, но в целом видео считаю полезным. Подача материала понравилась. Не просто презентация, про то, как мы делаем, а немного художественная история получилась. Из того, что не понравилось - шапка в помещении на выступающем.

Если интересуетесь, как качественно делать бэкапы, рекомендую к просмотру. Там прям весь процесс описан от простого к сложному с подводными камнями. Например, рассказывается, что надо обязательно делать карту сервисов прежде чем приступать к их бэкапу, иначе просто не синхронизуете их между собой. Так же не забыто управление ресурсами во время бэкапа, чтобы не класть сервис на лопатки. И так далее. Очень много всего.

Понравилось определение: «Бэкап - это неизменяемые данные на определенный момент времени». Это сразу отсекает всякие рейды и реплики из списка вариантов бэкапа.

Основные свойства бэкапа:

1️⃣ должен быть в стороне, не подвержен изменению;

2️⃣ должен восстанавливаться;

3️⃣ нужно всегда знать, за какое время ты сможешь
восстановить данные.

Также обратил внимание на софт, который использует Badoo для бэкапов - Bareos. Я знаком с его первоисточником - Bacula, bereos - форк бакулы. Саму бакулу я когда-то давно настраивал и использовал. Впечатления были не очень, поэтому от продукта отказался. Слишком сложный, неинтуитивный, лапша конфигов. Плюс, его еще самого надо бэкапить, потому что если Bacula грохнется, ничего из бэкапов не достать.

Возможно, имеет смысл попробовать Bareos. У кого есть опыт его использования, поделитесь в комментариях.

https://www.youtube.com/watch?v=cQsSALJt80E

#видео #backup

Ударно потрудился в этом году. Регулярно писал посты, получилось более одного в день. Для меня телеграм прям открытие этого года. Давно им пользуюсь, но вести активно канал начал фактически пол года назад.

Более того, начал потихоньку вести другие информационные проекты, там тоже будут каналы, но уже без моего публичного участия. Немного устал от постоянного потока сообщений в личку. Пока все в зачаточном состоянии, потому что не продумал до конца модель делегирования дел. Одному вести несколько проектов тяжело, а надо еще администрировать и не забывать учиться. Дел и планов много на следующий год.

Спасибо всем, кто меня читает, комментирует по делу, подсказывает. Я очень много почерпнул для себя из обратной связи, которую получаю от вас.

Небольшой совет по теме канала. Я рекомендую обновить и привести в порядок все подконтрольные вам системы и сервисы до НГ. Праздники, когда все отдыхают и отходят от дел, часто используют злоумышленники, чтобы нанести максимальный ущерб.

​​На днях подбивал дела уходящего года. Нужен был дедик. Заказал, как обычно, в Selectel. Я беру бюджетные сервера линейки chipcore с двумя ssd дисками. Для серверов общего назначения под web, почту, мониторинг нормально подходят.

Недавно у них появился новый шаблон системы - Proxmox 6. Очень удобно, быстро получаешь готовый гипервизор. Все автоматически ставится на mdadm raid1, сверху lvm. После установки все проверил, массив на месте. Грузится система с /boot, который тоже на mdadm.

На вид все в порядке. При выходе из строя одного диска, система должна продолжить работать. Но был один важный нюанс. Решил проверить наличие загрузчика на обоих дисках. И как оказалось, загрузчик был только на sda, то есть на первом диске.

Таким образом, при его выходе из строя, данные все останутся на месте. Но если вы закажете замену диска, после перезагрузки сервер сам не поднимется, потому что на втором диске нет загрузчика, а первый будет новый. Если бы вышел из строя второй диск sdb, то замена прошла бы штатно.

Так что не забывайте все внимательно проверять после поучения сервера. Вот пара моих заметок по теме аренды серверов.

1. Как мне заменили в Selectel не тот диск - https://serveradmin.ru/vosstanovlenie-raid-1/

2. Получил новый сервер с убитыми ssd - https://t.me/srv_admin/190

Хочу поделиться занимательной историей про популярные расширения для браузера - https://habr.com/ru/company/yandex/blog/534586/ с теми, кто ее не слышал.

Обращаю ваше внимание на нее, потому что сам пострадавший. Мне одно время нравился Яндекс.Браузер и я его активно использовал. В какой-то момент стал замечать, что слышу рекламу, когда использую наушники. В рекламе рассказывали про Сбербанк. Слышал ее, только когда использовал Яндекс.Браузер.

Я тогда даже в чате своем спрашивал, как разобраться в этой фигне и найти виновника звука. Но в итоге так и не стал подробно разбираться, потому что реклама была редко и нужно было ловить момент. Решил, что это браузер занимается подобной фигней и просто перестал им пользоваться.

В то время не знал, что виновато было расширение SaveFrom.net. Но сам для себя решил, что буду пользоваться голым браузером вообще без расширений. Так и поступил и с тех пор мой основной браузер Chrome без расширений.

К слову, у меня эта история была в районе года назад. То есть все это время указанные в статье расширения следили за пользователями и имели возможность запускать на его стороне практически любой код. Обалдеть, сколько всего они могли насобирать за это время.

Так что ко всем расширениям браузеров надо относиться очень внимательно, особенно ко всяким блокировщикам рекламы, которые стоят почти у всех. Почти наверняка они следят за вами. Ведь этот софт "бесплатный".

🤪 Немного юмора в праздники. У меня есть небольшая подборка вакансий сисадминов, которые я в свое время собрал на авито. Статья старая, думаю, многие не видели ее, так что решил еще раз поделиться.

Пару примеров оттуда:

Пройду обучение системным администратором или стажером программиста, образования нет, самостоятельно изучаю язык С, коммуникабельный, легко обучаем, знание Ос Windows выше среднего, так же работаю в Ubuntu.

С 14 лет ставил винду и восстанавливал систему знакомым, поэтому опыт есть. Знаю очень хорошо php/css/html5/js/Apache/Linux. Как дополнение разбираюсь в интернет-маркетинге SEO/CPC. На среднем уровне умею работать на 1С. Касательно изменений конфигурации, подключении касс и т.д.

https://serveradmin.ru/lyubopytnye-vakansii-sistemnyh-administratorov/

#юмор

Хороший юмор на тему сисадминов. Смотреть с субтитрами, если не разбираете, о чем говорят. Но там и так все понятно, если что. Понравилось больше всего:

"Сегодня мы с сожалением прощаемся с нашим лучшим сотрудником Майклом. Он забыл свой пароль (испуганный вскрик в зале) и больше не может продолжать свою работу. Я бы хотела с этим что-то поделать, но как вы все знаете, если пароль забыт, то это конец. Он исчезает навсегда (слезы провожающих)."

Еще круто подметили тему с проводами у блондиночки в кабинете 😂

https://www.youtube.com/watch?v=53H3KJ3oAIs

Я решил открыть новую рубрику на сайте и публиковать каждый месяц информацию о своей работе над сайтом и группой в телеграме. В том числе в отчетах будет полная информация о доходах и расходах данной сферы моей деятельности.

Мне кажется, это будет интересно и полезно не меньше основной тематики сайта и канала. У меня есть большой практический опыт в том деле, который наработать не проще, чем изучить те же IT технологии. Скорее даже сложнее, так как нет систематизированных знаний или курсов, где тебя всему научат.

Пока это проба пера и первый отчет за декабрь прошедшего года. Формат и содержание записей будет меняться. Если хотите увидеть какую-то дополнительную информацию или чтобы я раскрыл какую-то еще тему, пишите пожелания в комментариях на сайте. Постараюсь их учесть в следующих отчетах.

https://serveradmin.ru/skolko-ya-zarabotal-na-sajte-i-gruppe-telegram-v-dekabre/

Картинка вроде бы бредовая. Юмор высосан из пальца. Но на практике, когда я работал в офисе, меня на полном серьёзе и не раз просили починить стул, стол (клавиатура падала с подставки), ящик стола, розетку, удлинитель, лампочку, стартер, открыть замок без ключа и т.д...

Было такое?