В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ctodailychat

1284 membersпожаловаться на группу
2020 April 21

R

Ruslan in ctodailychat
Igor V
как собиратель метрик кафка не подходит, а как очередь - ну it depends, а в вашем случае все равно нужен оркестратор который «пробежится по строкам и обновит базу/сбегает в ещё один сервис»
а что имеется в виду под "собиратель метрик" тут? чтобы она сама куда-то ходила? мы довольно успешно используем кафку, как инструмент, через который события вытекают в наш data warehouse
источник
22:10пожаловаться#1

IV

Igor V in ctodailychat
хороший вопрос, мне под «собиратель метрик» представляется аналог cloudwatch
источник
22:11пожаловаться#2

IV

Igor V in ctodailychat
Andrey
Как очередь сообщений, собиратель метрик...
что понимаете под собиратель метрик?
источник
22:12пожаловаться#3

A

Andrey in ctodailychat
Надо понять сколько времени занимает обработка одного файла
источник
22:12пожаловаться#4

A

Andrey in ctodailychat
Сколько строк обработали с ошибками/сколько без
источник
22:13пожаловаться#5

a

agathis in ctodailychat
Andrey
Но я сам думаю зачем
Вместо одного большого процесса "прочитать файл, и по каждой строке сходить в БД" появляются асинхронные "прочитать файл" и "по каждому сообщению сходить в БД"
источник
22:15пожаловаться#6

IV

Igor V in ctodailychat
ага, значит CW like
источник
22:15пожаловаться#7

A

Andrey in ctodailychat
Igor V
как собиратель метрик кафка не подходит, а как очередь - ну it depends, а в вашем случае все равно нужен оркестратор который «пробежится по строкам и обновит базу/сбегает в ещё один сервис»
Я думал сделать так: s3 на новый файл дергает лямбду, она ставить в очередь событие с путём к файлу, первая тачка проходит по строкам и генерирует (количество строк)*событие с данными одной строки и вторая тачка процессит по одной....
источник
22:16пожаловаться#8

A

Andrey in ctodailychat
agathis
Вместо одного большого процесса "прочитать файл, и по каждой строке сходить в БД" появляются асинхронные "прочитать файл" и "по каждому сообщению сходить в БД"
Да
источник
22:16пожаловаться#9

A

Andrey in ctodailychat
Igor V
ага, значит CW like
Можно расшифровать CW?
источник
22:17пожаловаться#10

IV

Igor V in ctodailychat
CloudWatch
источник
22:17пожаловаться#11

A

Andrey in ctodailychat
Igor V
CloudWatch
Это что-то из aws?
источник
22:17пожаловаться#12

A

Andrey in ctodailychat
Я бы сделал на sqs +lambda...
источник
22:18пожаловаться#13

IV

Igor V in ctodailychat
Andrey
Я думал сделать так: s3 на новый файл дергает лямбду, она ставить в очередь событие с путём к файлу, первая тачка проходит по строкам и генерирует (количество строк)*событие с данными одной строки и вторая тачка процессит по одной....
это все сложно S3 Notification можно положить сразу в SQS без лямбд
источник
22:18пожаловаться#14

A

Andrey in ctodailychat
Igor V
это все сложно S3 Notification можно положить сразу в SQS без лямбд
Да, и Kafka sqs connector...
источник
22:18пожаловаться#15

IV

Igor V in ctodailychat
но вам все равно нужна оркестрация
источник
22:19пожаловаться#16

IV

Igor V in ctodailychat
может сразу смотреть в сторону Airflow или в крайнем случае на AWS Step Functions?
источник
22:19пожаловаться#17

A

Andrey in ctodailychat
Igor V
может сразу смотреть в сторону Airflow или в крайнем случае на AWS Step Functions?
Да я говорил про airflow , но мне сказали копай кафку...
источник
22:20пожаловаться#18

IV

Igor V in ctodailychat
лол
источник
22:20пожаловаться#19

A

Andrey in ctodailychat
Вот и я не понимаю или у меня кукуха от самоизоляции едет
источник
22:21пожаловаться#20