В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Go-go!

4013 membersпожаловаться на группу
2020 October 09

VL

V L in Go-go!
Ilya Kaznacheev
Внутри сервиса
А вы уверены, что вам уже нужен батч? Несколько воркеров-сервисов на один топик как одна консьюмер групп. Каждый будет читать из своих партиций по одному и обрабатывать.
А когда появится необходимость увиличивать пропускную способность батчингом, тогда уже можно и идемпотентность обработки реализовать.
источник
12:04пожаловаться#1

IK

Ilya Kaznacheev in Go-go!
V L
А вы уверены, что вам уже нужен батч? Несколько воркеров-сервисов на один топик как одна консьюмер групп. Каждый будет читать из своих партиций по одному и обрабатывать.
А когда появится необходимость увиличивать пропускную способность батчингом, тогда уже можно и идемпотентность обработки реализовать.
Идея в том, что в один топик сыпятся сообщения, длительные в обработке, и короткие. И хочется распараллелить, чтобы не получилось, что одно длительное сообщение всю обработку закупорило
источник
12:14пожаловаться#2

A

Artem in Go-go!
Всем привет, появился вопрос: допустим, я запускаю горутину из какой-то функции, с неким кложуром, дает ли го гарантии, что если функция закончится, а горутина нет, то она не почистит все переменные в кложуре при выходе из стака?
источник
12:15пожаловаться#3

DP

Daniel Podolsky in Go-go!
Artem
Всем привет, появился вопрос: допустим, я запускаю горутину из какой-то функции, с неким кложуром, дает ли го гарантии, что если функция закончится, а горутина нет, то она не почистит все переменные в кложуре при выходе из стака?
дает.
источник
12:17пожаловаться#4

М

Мерль🛠 in Go-go!
Artem
Всем привет, появился вопрос: допустим, я запускаю горутину из какой-то функции, с неким кложуром, дает ли го гарантии, что если функция закончится, а горутина нет, то она не почистит все переменные в кложуре при выходе из стака?
Пока значение на куче видит хоть один работабщий процесс, то оно гарантированно не будет сожрано сборщиком мусора
источник
12:17пожаловаться#5

A

Artem in Go-go!
понял, спасибо
источник
12:18пожаловаться#6

RC

Ryan Bethem | Chinta... in Go-go!
no more errors from mine
источник
12:19пожаловаться#7

VL

V L in Go-go!
Ilya Kaznacheev
Идея в том, что в один топик сыпятся сообщения, длительные в обработке, и короткие. И хочется распараллелить, чтобы не получилось, что одно длительное сообщение всю обработку закупорило
Либо несколько консюмеров, либо идемпотентность обработки и батч. К сожалению у меня больше опыта нет, может кто другой подскажет лучше 🙂
источник
12:20пожаловаться#8

IK

Ilya Kaznacheev in Go-go!
V L
Либо несколько консюмеров, либо идемпотентность обработки и батч. К сожалению у меня больше опыта нет, может кто другой подскажет лучше 🙂
Большое спасибо
источник
12:22пожаловаться#9

HM

Henry Metlov in Go-go!
Ilya Kaznacheev
Идея в том, что в один топик сыпятся сообщения, длительные в обработке, и короткие. И хочется распараллелить, чтобы не получилось, что одно длительное сообщение всю обработку закупорило
а есть сразу понимание какие сообщения долгие для обработки а какие быстрые? Если да то можно тегами в одном топике разделять их и разными консьюмерами разгребать
источник
12:43пожаловаться#10

IK

Ilya Kaznacheev in Go-go!
Henry Metlov
а есть сразу понимание какие сообщения долгие для обработки а какие быстрые? Если да то можно тегами в одном топике разделять их и разными консьюмерами разгребать
Понимание примерное, но есть
А как можно тегами разделять? Не видел такого в доке
источник
12:43пожаловаться#11

AS

Andrei 🦉 Sergeev in Go-go!
Ilya Kaznacheev
Понимание примерное, но есть
А как можно тегами разделять? Не видел такого в доке
партиционирование по ключу
источник
12:44пожаловаться#12

AS

Andrei 🦉 Sergeev in Go-go!
сообщения с одним ключом будут попадать в одну и ту же партицию, которую разгребает один и тот же консьюмер
источник
12:45пожаловаться#13

IK

Ilya Kaznacheev in Go-go!
Andrei 🦉 Sergeev
партиционирование по ключу
А я могу как-то сопоставить запись по ключу и чтение из определенной партиции?
Или это просто гарантия консистентности партиционирования, но не то, что “хочу подключиться к партиции с такими-то ключами”?
источник
12:46пожаловаться#14

AS

Andrei 🦉 Sergeev in Go-go!
Ilya Kaznacheev
А я могу как-то сопоставить запись по ключу и чтение из определенной партиции?
Или это просто гарантия консистентности партиционирования, но не то, что “хочу подключиться к партиции с такими-то ключами”?
гарантии консистентности
источник
12:47пожаловаться#15

AS

Andrei 🦉 Sergeev in Go-go!
вообще есть мнение, что нужно явно разделять по разным топикам сообщения, которые по разному обрабатываются
источник
12:48пожаловаться#16

IK

Ilya Kaznacheev in Go-go!
Вот такой кейс: у меня две реплики, n партиций в топике
Я могу как-то сделать так, чтобы каждая реплика читала партиции и с “долгими” и с “быстрыми” сообщениями (при условии, что у долгих один ключ, а у быстрых - другой)?
источник
12:48пожаловаться#17

IK

Ilya Kaznacheev in Go-go!
Andrei 🦉 Sergeev
вообще есть мнение, что нужно явно разделять по разным топикам сообщения, которые по разному обрабатываются
А есть где-то статьи на тему?
источник
12:49пожаловаться#18

IK

Ilya Kaznacheev in Go-go!
А то я в кафке как муха в супе
источник
12:49пожаловаться#19

IK

Ilya Kaznacheev in Go-go!
Книжку почитал, но оттуда мудрости бест праксисов на тему выше не подчерпнул
источник
12:49пожаловаться#20