Size: a a a

2021 February 04

A

Artur in ctodailychat
с сжатием здорово, что действительно простой код и легко применить у себя на проекте. с нейронками и ростом выручки - тоже круто, но тут разве что порадоваться за вас можно
источник

АА

Александр Арбузов... in ctodailychat
Сергей Аксёнов
Внезапно попал под лошадь в топ-1 Хабра с проходной статьёй про то, как мы прикрутили сжатие Zstd к отправке аналитики и дропнули весь трафик в ДЦ на 70%. В статье приведены все 30 строк кода, в которые нам это обошлось везде (на бэке и обоих клиентах) и скрин из Графаны. Традиционно фрустрирован, что в топы попадает вот такое проходное, а то, что сначала год пилили а потом полгода писали и редактировали - никто не замечает(

Собственно сегодняшняя статья: https://habr.com/ru/company/funcorp/blog/540516/ Вопросы можно задавать там в комментах.
соглашусь, что данная статья максимально понятна и супер практична. потому и зашла :)
спасибо за сниппеты и пояснение как выбирали!
источник

MS

Max Syabro in ctodailychat
Сергей Аксёнов
Внезапно попал под лошадь в топ-1 Хабра с проходной статьёй про то, как мы прикрутили сжатие Zstd к отправке аналитики и дропнули весь трафик в ДЦ на 70%. В статье приведены все 30 строк кода, в которые нам это обошлось везде (на бэке и обоих клиентах) и скрин из Графаны. Традиционно фрустрирован, что в топы попадает вот такое проходное, а то, что сначала год пилили а потом полгода писали и редактировали - никто не замечает(

Собственно сегодняшняя статья: https://habr.com/ru/company/funcorp/blog/540516/ Вопросы можно задавать там в комментах.
Ты статьи Алистера видел?)
источник

MS

Max Syabro in ctodailychat
Заходит то что проще понять и применить на практике наверное
источник

СА

Сергей Аксёнов... in ctodailychat
Max Syabro
Ты статьи Алистера видел?)
Алистера?
источник

O

Onlinehead in ctodailychat
Сергей Аксёнов
Внезапно попал под лошадь в топ-1 Хабра с проходной статьёй про то, как мы прикрутили сжатие Zstd к отправке аналитики и дропнули весь трафик в ДЦ на 70%. В статье приведены все 30 строк кода, в которые нам это обошлось везде (на бэке и обоих клиентах) и скрин из Графаны. Традиционно фрустрирован, что в топы попадает вот такое проходное, а то, что сначала год пилили а потом полгода писали и редактировали - никто не замечает(

Собственно сегодняшняя статья: https://habr.com/ru/company/funcorp/blog/540516/ Вопросы можно задавать там в комментах.
Любопытная задумка. В самом CH тоже zstd выбран как алгоритм сжатия кстати?
источник

СА

Сергей Аксёнов... in ctodailychat
Max Syabro
Заходит то что проще понять и применить на практике наверное
Это грустно, когда у тебя сильная команда, крутые задачи и хочется писать про это, а не про элементарщину типа как по ссылке.
источник

СА

Сергей Аксёнов... in ctodailychat
Onlinehead
Любопытная задумка. В самом CH тоже zstd выбран как алгоритм сжатия кстати?
Внутри кликхауса вроде нет сжатия у нас, ну или какое-то дефолтное, не уточнял. Агрегатор десятиминутные чанки выгружает в gz.
источник

O

Onlinehead in ctodailychat
а, он у вас буфер)
источник

MS

Max Syabro in ctodailychat
Да есть там такой)
источник

СА

Сергей Аксёнов... in ctodailychat
Max Syabro
Да есть там такой)
Не получилось сходу найти.
источник

MS

Max Syabro in ctodailychat
Сергей Аксёнов
Не получилось сходу найти.
Доберусь до ноута, скину₽
источник

A

Alexander in ctodailychat
Vladimir Kuznetsov
все детские учреждения так и делают
Детские. Даже в универ преподам надо.
источник

O

Onlinehead in ctodailychat
Onlinehead
а, он у вас буфер)
Вообще это конечно любопытный кейс, использовать его именно так. А расскажешь немного за мотивацию почему именно так и почему вы выгружаете из него потом архивы, а не гоняете по нему прям аналитику?
источник

СА

Сергей Аксёнов... in ctodailychat
Onlinehead
а, он у вас буфер)
Ну да, в CH же нужно чем большими пачками заливать - тем лучше.
источник

O

Onlinehead in ctodailychat
эм, тогда я наверно не понял)
источник

СА

Сергей Аксёнов... in ctodailychat
Onlinehead
Вообще это конечно любопытный кейс, использовать его именно так. А расскажешь немного за мотивацию почему именно так и почему вы выгружаете из него потом архивы, а не гоняете по нему прям аналитику?
Не-не-не. Буфер - это S3, откуда накопленные данные раз в 10 минут льются в кластер CH.
источник

СА

Сергей Аксёнов... in ctodailychat
В том числе это позволяет быть толерантными к лежанию CH до суток включительно: аналитика не работает, но всё остальное живо и данные не теряются.
источник

O

Onlinehead in ctodailychat
Эм. Так. То есть у вас на входе какая схема получается? Данные от клиентов ->  ваш ингресс вместо nignx -> S3 -> batch reader/writer to CH?
источник

GL

Gleb Lesnikov in ctodailychat
а вы сравнивали с протобафом? )
источник