Вот графический интерфейс для нормализация логов в CIM.

И можно просто так взять и допилить чужое приложение? Они поставляются с открытыми исходниками?

Какая правильная модель работы со Splunk и собственным приложением? Нужно ли писать Splunk App? Или проще руками админить дашборды и поиски?

можно почти всё

что вы описали

в splunk в приложениях есть 2 каталога. Default - это то, что идёт от разработчика, local - это то что вы можете "допиливать" под себя.  
Если утрировать:)

Безопасники скорее всего хотят Splunk ES.
Для инфраструктуры будет классно, если есть уже готовые аддоны под Splunk.
Для разработчиков Splunk предоставляет возможность не сильно париться с индексами, на первых порах это особенно важно, пока разработчики не привыкнут.

Выглядит, что Splunk действительно хорош. Единственные минусы - цена и канал закупки

Чёрный рынок 😁

И если безопасники наконец дойдут до безопасности разрабатываемых приложений, то писать в Splunk из того же ELK выглядит сложным. Сначала надо научиться парсить логи в ELK, затем научиться перегонять в Splunk. А в Splunk все равно платить за полный объем логов

Насколько легко на российском рынке найти человека умеющего администрировать спланк? и обязательно ли искать квалифицированного человека? Можно же купить поддержку и обучить человека.

В теории, любой СИЕМ-админ, с головой на плечах, сможет админить. Потому задача поиска чуть проще чем кажется.
Совсем новичка брать не стоит, много времени уйдет на понимание концептов и будут глупые ошибки которые придется разгребать 100%.

Соглашусь, SIEM админ разберётся, офф курсы от Splunk довольно дорогие, но материалов по нему куча.

про ES пока лучше не думать, и с обычным Splunk работы хватит:) ES потом можно докупить

Про ЕЛК нельзя не думать, обычно он уже есть или грейлог

С первой строчкой кода с багами

я, как безопасник, использующий и админящий splunk скажу, что экстракт полей во время поиска - это не только одно из преимуществ spulunk, но и один из его главных недостатков. Когда у тебя миллионы событий в день, например, WinEventLog, из которых splunk не умеет экстрактить поля во время индексации, то быстро искать по полям в них не получится. То, что Elasticsearch делает доли секунды, Splunk может делать десятки минут. Проверял на одних и тех же данных.

Про экстракт полей написано здесь https://docs.splunk.com/Documentation/Splunk/7.2.5/Data/Configureindex-timefieldextraction

Главный плюс splunk для меня - это лучшая ever документация, относительная логичность и простота самообучения. Но это имеет свои последствия — когда со splunk начинаются работать большое количество не самых подготовленных людей, splunk позволяет им делать неоптимальные поиски, которые выполняются долго и регулярно, получается бардак.

имхо, не эффективно все задачи весить на splunk. Нужно интегрировать его с другими системами. Некоторые сырые данные можно держать в Clickhouse, Elasticsearch и т.п. А из splunk при необходимости их запрашивать.

Насколько легко/сложно такое реализуется? Если для разработчиков и их приложений первичным будет ELK, например?
Как оно будет при этом лицензироваться? Весь объем запрошенных данных из Elasticsearch’а войдет в квоту обработанных данных?

Спасибо большое за вашу историю =)