За последние 2,5 года Booking.com прошел через 3 поколения приватных облаков. Первое было построено на Mesos и Marathon. В активной фазе оно просуществовало около полугода. Решили отказаться. Второе - на OpenShift. Отказались через год. Сейчас Booking работает на чистом Kubernetes.
Иван Круглов в докладе на HighLoad++ рассказал про внедрение и проблемы всех трех платформ, про почти полную замену инфраструктуры и внедрение контейнеризованных приложений. Основные мысли и ключевые моменты в конспект доклада от Ника Волынкина. https://github.com/NickVolynkin/highload-2018/blob/master/1.2-per-aspera-ad-paas.md

Три года назад на Highload++ Александр Крашенинников рассказывал как в Badoo построили масштабируемую систему near-realtime обработки событий. С тех пор она эволюционировала, выросли объёмы и решены задачи масштабирования и отказоустойчивости. В определённый момент в Badoo достигли точки, когда потребовались радикальные меры — смена технологического стека на связку Spark + Hadoop на ClickHouse, что в три раза сэкономило железо и увеличило нагрузку с 300 000 событий в секунду до 1 600 000 в пике. В ноябре на Highload++ Александр рассказал о этом в своем докладе, а Ник Волынкин описал кратко в своем конспекте.
https://github.com/NickVolynkin/highload-2018/blob/master/1.6-accelerate-events.md

Есть мнение, что больше данных, чем X5, в SAP ERP и SAP BW в России не обрабатывает никто.
Поэтому очень интересно узнать об их опыте борьбы за производительность. Сделать это можно было на конференции, а теперь и статья вышла, в комментариях можно позадавать вопросы.
https://habr.com/company/X5RetailGroup/blog/432412/

Если вы контрибьютили свою альтернативную реализацию хэширования в Cassandra, то сегодняшняя новость не для вас :(

Но если хайлоад уже почти захлестнул, а системных знаний не хватает, то вам стоит прочитать эту статью про шардинг. Будем думать, что хуже – шардить или на шардить, и главное, когда что выбрать.
https://habr.com/company/oleg-bunin/blog/433370/

В ВК зарегистрировано полмиллиарда пользователей, а среднесуточная аудитория около 100 млн. Чтобы держать такую нагрузку нужна крепкая архитектура и десятки тысяч серверов. Как организовано взаимодействие между ними, как происходит мониторинг и как решают проблему постоянно ломающихся серверов рассказал Алексей Акулович на HighLoad++ в докладе FAQ по архитектуре и работе ВКонтакте, а Ник Волынкин аккуратно записал в конспект.

https://github.com/NickVolynkin/highload-2018/blob/master/2.1-vk-architecture.md

А вы знаете, что прием заявок на Saint HighLoad++, которая пройдет 8-9 апреля в Питере, уже идет полным ходом?

В помощь начинающим спикерам наш коуч Роман Поборчий выпустил заметку о работе программного комитета, которая будет полезна всем, кто выступает или только планирует выступить на большой профессиональной конференции.  
https://habr.com/company/oleg-bunin/blog/431768/

HighLoad мишка пошел на следующий круг!

Открыты продажи билетов на HighLoad++ Siberia, которая состоится 24-25 июня в Новосибирске, — минимальная цена продержится до 15 января. Подробности на сайте https://www.highload.ru/siberia/2019

На HighLoad++ всегда есть секция по DevOps, и в Санкт-Петербурге будет.

А пока статья про Ansible и механизм непрерывной поставки ролей https://habr.com/company/oleg-bunin/blog/431542/

Отличные новости! Все видео докладов HighLoad++ Siberia теперь в открытом доступе. Вот ссылка на плейлист.

И не забудьте сверить свои планы с расписанием HighLoad++ на этот год: highload.ru

Друзья, важное обновление: выездной обучающий highload-митап по теме "Очередь" в Санкт-Петербурге переносится на 12 февраля!

Мини-план митапа такой:
- Что такое очередь вообще, откуда возник этот паттерн и где и зачем его можно использовать.
- Обзор основных инструментов.
- Примеры использования: межсервисное взаимодействие, обработка больших объектов и т.д.

Знаете, что конкретно должно быть в этих пунктах, или чего в них не хватает, — присоединяйтесь к распространению знаний в массы, заполните заявку или напишите в личку @olegbunin.

Догадываетесь, что все это значит, но хотели бы больше подробностей — именно для этого все и затевается! Регистрируйтесь и приходите, мероприятие бесплатное.

Встречаемся 12 февраля в 19:00 в Санкт-Петербурге на Большом Сампсониевском 60А в офисе DataArt, нашего партнера в этом полезном деле.

Статья, которая не нуждается в описании. Просто это Филипп Кулин, и больше него о блокировках интернета в России знает только Роскомнадзор, но это не точно.
https://habr.com/ru/company/oleg-bunin/blog/431188/

АСУ ТП, ВИУР и ВИУТ, БЩУ, БПУ — знакомые аббревиатуры? Да / нет / не знаю — не важно, статья про высоконагруженную распределенную систему управления современной АЭС сразу и дает обзор, и рассказывает, где в АЭС можно применить модные технологии.
https://habr.com/ru/company/oleg-bunin/blog/439510/

Новости про обучающий митап, который состоится в 12 февраля в Санкт-Петербурге, начало в 19:00.

Для участников за пределами северной столицы и тех, кто не успел зарегистрироваться, организуем трансляцию на нашем канале https://www.youtube.com/user/profyclub. Прямую ссылку опубликуем здесь 12 февраля.

В программе:
- О традиционном и не очень применении очередей / Владимир Перепелица (Архитектор Mail.ru Cloud Solutions)

- Очереди и конвейерная обработка в социальной сети / Александр Тоболь (Руководитель разработки платформ видео и ленты проекта «Одноклассники»)

- Вам не нужны очереди / Виталий Левченко (Организатор Go-митапов и Reliability-митапов)

- Использование конвейеров в банке / Александр Календарев (Ведущий программист Альфа Банка)

Подробнее тут: https://www.meetup.com/ru-RU/HighLoad-User-Group/events/256752414/

​В 2019 году будет три конференции по разработке высоконагруженных систем: в Санкт-Петербурге, Новосибирске и Москве.

Первая из них состоится 8 и 9 апреля в Санкт-Петербурге. Это будет абсолютно новый Highload++, мы готовим программу на 2–3 потока докладов для 600 слушателей, и самое время подать доклад. Крайний срок подачи заявок — 1 марта.

И купить билет по приятной цене тоже нужно успевать — 15 февраля она подрастет.

Сегодня в 19:00 по Санкт-Петербургу у нас обучающий митап на тему «Очередь. Конвейерная обработка». Заканчивайте свои дела, устраивайтесь поудобнее и присоединяйтесь к трансляции https://youtu.be/_3nKjCjt2uU

Вчера мы примерили HighLoad в Санкт-Петербурге в формате митапа, и нам понравилось!

Теперь с нетерпением ждём настоящий Saint HighLoad++. Хорошо, что он в апреле, то есть скоро. А еще хорошо, что мы договорились с Park Inn Пулковская, и открыли её продажу для участников конференции. Подробности 👇 https://www.highload.ru/spb/2019/news/982

​Разбавим обычный будний день воспоминаниями о том, как же крут был HighLoad++ 2018.
https://youtu.be/-WgcKpUTUmw

Ловите фото, видео и презентации с недавнего митапа!

Не забудьте отметиться на фотографиях:
https://www.facebook.com/pg/HighLoadConference/photos/?tab=album&album_id=2064052573672196
https://vk.com/album-152308462_260630476

Дать ссылку на видео и презентации начинающим и не только highload-разработчикам:
https://www.dropbox.com/sh/pll4pkkg9cebmze/AABpGesgZ9h-bpvPCJfLxeTra?dl=0

Запись на том же месте, что и была трансляция: https://youtu.be/_3nKjCjt2uU

А ближе к пятничному вечеру предлагаем порассуждать о БД в ☁️ . В отличной компании Николая Самохвалова и DBA Data Egret попробуем решить, стоит ли всем подряд переходить в публичное облако или же лучше создать приватное — на Docker с Kubernetes.
https://habr.com/ru/company/oleg-bunin/blog/440332/

И не забывайте, что до конца Call for Papers на Saint HighLoad++ осталось две недели. В выходные как раз можно закинуть заявку 👌

Друзья, работа ПК HighLoad++ в Питере в самом разгаре.

8 и 9 апреля конференция. Важный момент - это будет не филиал, не копия большого HighLoad++. Это будет совершенно самостоятельное мероприятие, новые доклады. Тематика, конечно, та же самая, но доклады не повторяются.

Если вы планировали подать доклад - то самое время!

Детали:
https://www.highload.ru/spb/2019

Подача докладов до 1 марта.