Size: a a a

AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

2020 October 01

AR

Aleksey Ryabkov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
источник

AR

Aleksey Ryabkov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
возможно вот это может помочь с мониторингом 10+ микросервисов
источник

AS

Alex Surname in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
причем здесь тема канала?
источник

D•

Dan • Captain in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Aleksey Ryabkov
возможно вот это может помочь с мониторингом 10+ микросервисов
И правда, для чего это тут?
источник

AR

Aleksey Ryabkov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
человек спрашивал. я ответил
источник

AM

Artem Melnychenko in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Там выше человек задавал вопрос
источник

D•

Dan • Captain in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Sergey
Доброго дня. Вопрос может быть немного девопсовский, но думаю, что с такой проблемой сталкивались и тут: как можно толково устроить мониторинг состояния и активности 10+ микросервисов с API? Часть сервисов крутится с  Flask, часть - с FastAPI. Варианты вроде Prometheus и Grafana выглядят немного избыточными на первый взгляд.
источник

D•

Dan • Captain in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
А, ещё вот есть @monhouse_tech
источник

D•

Dan • Captain in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
источник

AR

Aleksey Ryabkov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
а если в рамках темы, то есть вопрос никто не занимался прикручиванием категоризаторов для трафика  - а ля DPI не сигнатурный
источник

RB

Radion Bikmukhamedov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Aleksey Ryabkov
а если в рамках темы, то есть вопрос никто не занимался прикручиванием категоризаторов для трафика  - а ля DPI не сигнатурный
я этим как раз занимаюсь по аспе
источник

AR

Aleksey Ryabkov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Radion Bikmukhamedov
я этим как раз занимаюсь по аспе
а можно уточнить что и как используете. если это не секрет.
источник

RB

Radion Bikmukhamedov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
https://github.com/nfstream/nfstream
есть вот такая тулза, которая помогает размечать данные. примеры классификаторов моих тут:
https://github.com/RadionBik/ML-based-network-traffic-classifier
источник

AR

Aleksey Ryabkov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
и до кучи вопрос никто не прорабатывал классификаторов пользвателей по его трафику. условно есть у нас например кликстрим или просто netflow. нужно отнести например по этим данным пользователя к программистам или бухгалетрам. ну и иерархию далее программист - фронтенд или бэкенд и так далее
источник

AR

Aleksey Ryabkov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Radion Bikmukhamedov
https://github.com/nfstream/nfstream
есть вот такая тулза, которая помогает размечать данные. примеры классификаторов моих тут:
https://github.com/RadionBik/ML-based-network-traffic-classifier
спсб буду смотреть
источник

RB

Radion Bikmukhamedov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Aleksey Ryabkov
и до кучи вопрос никто не прорабатывал классификаторов пользвателей по его трафику. условно есть у нас например кликстрим или просто netflow. нужно отнести например по этим данным пользователя к программистам или бухгалетрам. ну и иерархию далее программист - фронтенд или бэкенд и так далее
нет, но кажется что достаточно просто решается. нужно собрать по каждому типу DNS, SNI поля и сделать простой классификатор
источник

AR

Aleksey Ryabkov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Radion Bikmukhamedov
нет, но кажется что достаточно просто решается. нужно собрать по каждому типу DNS, SNI поля и сделать простой классификатор
а если я заранее классов не знаю. то я так понимаю нужен какой-нибудь предварительный кластерный алгоритм
источник

RB

Radion Bikmukhamedov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
тут как и всегда зависит от целевой задачи
источник

AR

Aleksey Ryabkov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
целевые задачи (дословным языком от  бизнеса) лежат в плоскости инфобеза и кадровиков
1. прогнозировать, что данный человек навострил лыжи и планирует уволится
2. понять работал ли в данный момент времени за данным компьютером условный программист Вася или бухгалтер Маня.
3. понимать что компьютер взломан и с него орудует злобный хакер
источник

I

Ivan in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ответ на вопрос 2: если трафик на сайт журнала "Главбух", то сидит бухгалтер, а если StackOverflow, то программист.
источник