VN
Поток идет батчами из киттенхауса в кликхаус, можно его дублировать и получать для реал-тайм процессинга
можно запускать батчи airflow (по сенсору или по апи)
Size: a a a
2021 April 02
VN
изврат, конечно немного
NT
а эти батчи тут обрабатываются какой-то своей внутренней логикой, или можно наш родной pandas numpy прикрутить к этим батчам?
NT
и еще такой простой кейс - например идет телеметрия с датчика, нужно заалертить когда он порогового значения достигшнет, его можно на аирфлоу реализовать рейл-тайм?
IL
и еще такой простой кейс - например идет телеметрия с датчика, нужно заалертить когда он порогового значения достигшнет, его можно на аирфлоу реализовать рейл-тайм?
Мне кажется аирфлоу вам очень плохо подходит
Р
и еще такой простой кейс - например идет телеметрия с датчика, нужно заалертить когда он порогового значения достигшнет, его можно на аирфлоу реализовать рейл-тайм?
тут не аирфлоу. здесь скорее просто real-time connection делать и слушать
IL
и еще такой простой кейс - например идет телеметрия с датчика, нужно заалертить когда он порогового значения достигшнет, его можно на аирфлоу реализовать рейл-тайм?
NT
Спасибо.
Типа reddis + кастомный процессинг + prometheus python client? StatsD в каком месте тут тогда будет?
Типа reddis + кастомный процессинг + prometheus python client? StatsD в каком месте тут тогда будет?
VS
телеметрия - это метрики, смотрите в сторону мониторинга, в первую очередь
VS
если вам эту телеметрию нужно долго хранить и заниматься анализом, то тут нужен скорее всего еще один другой инструмент
NT
Спасибо, понял. Аирфлоу это больше планировщик на стероидах, чем потоковая обработка))
NN
Спасибо, понял. Аирфлоу это больше планировщик на стероидах, чем потоковая обработка))
Я бы сказал, что он вообще никакого отношения к потоковой обработке не имеет.
NT
А
Спасибо, понял. Аирфлоу это больше планировщик на стероидах, чем потоковая обработка))
NiFi посмотрите
2021 April 03
AP
Коллеги, а почему бот пропустил спам юзера?
SC
Я комботом пользуюсь в своем чате, и настроил его так что он сообщения о новых пользователях удаляет
SC
SC
SC
SC
