Продолжение темы про ЛОГИ

4 Хранение
4.1 elastic
Фаундер, технарь на должности CTO: А у индексов эластика пробовали кодек поменять (index.codec параметр)? По умолчанию он и не стоит на максимальном сжатии, а на максимальной производительности алгоритмом LZ4. При нормально написанном маппинге и выставленном максимальном сжатии в deflate не должно сильно отличаться, lucene не такой уж и большой индекс.
Скб-контур собирает с 50+ сервисов логи,  у них там почти два петабайта уже: https://www.youtube.com/watch?v=KH4Ia0uir8Y если интересно
Вот, почитайте. Тут все рекомендации собраны: https://www.elastic.co/guide/en/elasticsearch/reference/7.3/tune-for-disk-usage.html
Там и про снижение объёма хранимых данных тоже написано, каждый индекс настраиваться под нужные данные, что будет храниться, а что нет. А чуть ниже есть и про сжатие.

Топик-стартер: У меня к эластику вопросов вообще нет, в плане поиска по тексту, особенно не четкому он помоему уделывает всех. Но накладные расходы на хранение это жесть :)
И да под не текстовую аналитику, я бы что то другое выбрал :)

Решатель SRE/ChatOPS/DevOps задачек в мониторинге: На прошлом HighLoad++ VK рассказывали, как решали похожую проблему. Они выбрали Clickhouse + самописный сервис для записи, который они выложили в опенсорс https://m.habr.com/ru/company/vk/blog/430168/
Специалист по запуску сложных финтех стартапов
А вообще логи в CH можно и более чем в 10 раз жать. Ну и возможность все старше нескольких дней убирать в архив тут крайне ценная.

5 Железо
Тимлид большой соцсети: 2 петабайта! Это сколько на дата ноду?
Технический директор фото-сервиса: без сжатия это считай полнстью забитая оборудованием стойка и стоит такое удовольствие 200-300к usd.
Владелец и технический руководитель своего проекта: Это ты на ssd посчитал? Есть пограничные конфигурации, где 2 петабайта можно впихнуть в 8u.
Технический директор фото-сервиса: я пихал, но начитнается беда с сетевым вводом и поиском.
Владелец и технический руководитель своего проекта: Ага. Я говорю про огромные ящики, в которых один дохлый ксеончик обслуживает 96 хардов. Те это только очень холодный архив.
Технический директор фото-сервиса: и фиг туда что загрузишь! и фиг туда что загрузишь!
Владелец и технический руководитель своего проекта: Внезапно, надо проконсультироваться у инженера здания
Технический директор фото-сервиса: а под нагрузкой - под 20KW жрет стойка, при охлаждением этого воздухом в коридорах становится ВЕТРЕННО

6 Просмотр
6.1 lighthouse
Специалист по запуску сложных финтех стартапов
И чем логи смотреть планируете? Нам пока больше всего понравился lighthouse (или запросами промо из DataGrip/IDEA)

​​Возможно не все знают, но Google уже много лет нанимает людей, которые выполняют функцию автокомплита. При просмотре ролика обратите внимание на дату публикации ролика.

—-  Рекламный пост —- Пост проплачен  —-

Добрый день!

Вы сейчас ищете Front End разработчиков и хотите быстро закрыть вакансию, то у нас есть решение.🚀

Мы сделали Сервис для поиска разработчиков @Hirefycarebot, в базе которого 1000 фронтенд разработчиков, которых мы можем вам рекомендовать, что позволит вам закрыть вакансию за неделю. Приглагаем потестировать его и получить первых 2-х кандидатов бесплатно.

Заполните анкету и получите профили кандидатов отобранных под ваши критерии.

Заполнить анкету можно через нашего бота 💁🏼‍♀️ @Hirefycarebot  Уточнить все моменты можно с @hirefy

​​Как стикер? Только что художник нарисовал!

Сам стикерпак вот:

​​Идеал руководителя эпохи конца 70-х - начало 80-х гг. (эпохи «расцвета застоя») представляется неким двуликий Янусом

Лицо, обращённое к начальству являло четкого, подтянутого, готового к выполнению любого распоряжения офицера;

На подчиненных же взирал чуть усталый, отягощенный важными делами, строгий, но заботливый отец.

Никого не напоминает из коллег?)

​​​​​​Коллеги! Поздравляю всех с Днем Техдира!

Поздравляю всех - и техдиров и тех, кто еще только готовится ими стать! Поздравляю всех, кто активно взаимодействуют с техдирами: продактов, проджектов, тимлидов, разработчиков, девопс, тестировщиков и многих других, без кого работа техдиров невозможна!

Желаю успехов в этой интереснейшей работе!
Желаю конструктивных коллег!
Желаю увлекательных задач, которые выступают, как турник для развития вашего мастерства!
Желаю адекватных представителей бизнеса!
В конце-концов желаю просто добра/бабла!

Ура!!! 🎉🎉🎉

Основатель техдирского клуба,
Дмитрий В. Симонов

П.С. Лайк! Шер! Репост!

В Санкт-Петербурге и Москве пройдут праздничные митапы тусовки техдиров, будет телемост и онлайн-трансляции!

Планируется более сотни техдиров со всей страны на обеих тусовках!

Мы также будем рады в онлайн-трансляции передать приветы всем, кто соберется на совместные просмотры по всей России!

Подробности по ссылке https://cto-day.ru/

​​Онлайн-трансляция Дня Техдира

Выложил фоточки Дня Техдира 3 сентбря
https://www.facebook.com/ctorecords/posts/10156165039377504

День Техдира, как это было?

У нас был долгий ненастный питерский вечер, конференц-зал Selectel на 70 мест, два десятка техдиров, более пятидесяти it-разработчиков разной степени небритости, несколько HR, мощнейший Дмитрий Симонов, 200 банок пива, 100 бутылок лимонада, несколько интересных тем, 6 спикеров, настроенная трансляция, 3.14 литра концентрированного хорошего настроения и даже одна неуловимая девушка-техдир. Не то, что это всё нужно было в Питере за день до Слёрм DevOps, но если начал организовывать мероприятия, то иди в своём увлечении до конца. Единственное, что нас беспокоило — это адрес ресторана KorovaBar, где мы коротали вечера во время февральского Слёрма. В мире нет ничего более увлеченного, игнорирующего физические препятствия и объективную реальность, общительного и громогласного, чем несколько CTO, собравшихся в одном месте в одно время рядом с гремучей смесью из пива, коллег и дискуссионных тем. Мы знали, что так или иначе окунёмся во всё это с головой.

https://habr.com/ru/company/southbridge/blog/466203/

Члены Закрытого Техдирского Клуба попросили сделать специальный канал для серьезных вакансий: https://t.me/ctorecordshr

Отвечая на вопрос про Техдирский Найм @ctorecordshr

Правила работы с каналом Техдирский Найм я ещё вырабатываю. Ко мне пришли несколько членов закрытого техдирского клуба и попросили помочь им закрыть вакансии, так как hr-агентства присылают откровенный шлак. Я взялся за такую работу, но перед тем, как погрузиться в эту тему, открыл канал.

Сейчас собираю запросы и провожу каст-дев на то, в каком формате удобнее всего работать.

С любыми конструктивными предложениями стучитесь в личку, - давайте обсуждать! Я за любую движуху кроме голодовки 🙏

Про повышение зп

Из закрытого Клуба Техдиров: в крупных компаниях вообще пересмотрены это норма выработанная уже очень давно и она так же регулярна как обеды, и у нее есть четкий регламент, и если ты проходишь - имеешь больше, а если нет сидишь и пытаешься заслужить. Яндекс например вообще систему ротации из доты тупо взяли, и в этом есть свой резон - вот доклад про это.
https://youtu.be/zZgSsZScqEU

Коллеги! Кто знает этого парня в центре фото?

Татьяна Гаврилова прислала презентацию на своё выступление на День Техдира 3 сентября СПб