ML
А какой движок для обработки потока запросов лучше/быстрее? буффер или кафка?
причем тут буфер? хоть в файлик пиши, вопрос в скорости обработчика этой очереди, а куда складывать совершенно другой вопрос =)
Size: a a a
2020 September 28
ML
А какой движок для обработки потока запросов лучше/быстрее? буффер или кафка?
кафка это распределенный лог, хотя его и используют многие каак очередь аля ребит, но это более сложный процесс обработки. не понимаю зачем люди берут кафку так где она не нужна =)
A(
кафка это распределенный лог, хотя его и используют многие каак очередь аля ребит, но это более сложный процесс обработки. не понимаю зачем люди берут кафку так где она не нужна =)
а лучше использовать ребит?
АК
а лучше использовать ребит?
если нагрузка не очеь большая то ребит хороший вариант
ML
а лучше использовать ребит?
вопрос что за данные, я ребит использую везде
ML
Анатолий Костюшин
если нагрузка не очеь большая то ребит хороший вариант
а большая это сколько?
ML
у ребита есть один косяк если работать с подтверждением из очереди то это почти в 2 раза снижает производительность
АК
но при этом он обеспечивает надежность
АК
за все приходится платить
АК
а большая нагрузка я даже наверно не скажу
A(
Анатолий Костюшин
если нагрузка не очеь большая то ребит хороший вариант
Статистика, таблица мелкая, порядка 20 столбцов. А рпм будет расти хорошо
АК
просто никогда кафку не использовал, знаю просто что она для больших нагрузок
ML
но никто не мешает повесить несколько конзумеров на очередь, но тогда сразу-же возникает острый вопрос скорости, если один из обработчиков затупит, то очередность обработки запросов будет нарушена, тут на скорое решение приходит вопрос деления очереди, разбивать очередь на две по признаку определенному, тогда еще можно избежать коллизий
ДА
Всем привет, подскажите в какую сторону нужно копать. Есть таблица там 1 милилард записей с уникальной строкой, и массивом uint16. Задача подсчитанное количество элементов. Допустим 1 встречается там 1600 раз а 2 100 тысяч раз и тому подобное, если готовая функция в кх для этого?
AT
Коллеги, подскажите способ поэффективнее:
есть таблица 1, в которой id и дата1 (1 запись на каждый айди)
есть таблица 2, в которой id, дата2 и число (несколько записей на каждый айди)
нужно сгруппировать таблицу 2 по айди, взяв только те записи, у которых дата2 < дата1 (из первой таблицы)
как-то через groupArray и filterArray?
есть таблица 1, в которой id и дата1 (1 запись на каждый айди)
есть таблица 2, в которой id, дата2 и число (несколько записей на каждый айди)
нужно сгруппировать таблицу 2 по айди, взяв только те записи, у которых дата2 < дата1 (из первой таблицы)
как-то через groupArray и filterArray?
D
Всем привет, подскажите в какую сторону нужно копать. Есть таблица там 1 милилард записей с уникальной строкой, и массивом uint16. Задача подсчитанное количество элементов. Допустим 1 встречается там 1600 раз а 2 100 тысяч раз и тому подобное, если готовая функция в кх для этого?
наверно array join -> group by value
ДА
Спасибо, поковыряю в этом направлении)
ДА
наверно array join -> group by value
MS
не знаю,
я бы зашел с другой стороны, сгенерил по таблице КХ-а паркет и посмотрел что получилось в нем
я бы зашел с другой стороны, сгенерил по таблице КХ-а паркет и посмотрел что получилось в нем
Паркет не поддерживает массивы, падает при экспорте, что делать непонятно