У меня из всех чатов только этот чат пинит со звуком)

🗓 Мероприятия Облака на этой неделе

Сегодня в 12:00 расскажем про опыт оптимизации работы с данными.

Представитель компании Genotek поделится тем, как они перенесли хранение и обработку данных в Яндекс.Облако.
Вебинар будет полезен компаниям, которые работают с аналитическими запросами по данным, обновляемым в реальном времени.

Трансляция →

В четверг, 16 июля, узнайте про подготовку, хранение и анализ данных в Яндекс.Облаке.

❔Как выгрузить данные из внешнего источника, очистить, обработать и конвертировать их в формат Apache Parquet?
❔Как написать функцию, которая будет ежедневно дополнять архив новыми данными?
❔Как написать задание в Yandex Data Proc, которое будет каждый день строить агрегаты и выгружать их в кластер ClickHouse?
❔Как визуализировать результат с помощью Yandex DataLens?

На эти и многие другие вопросы ответим на вебинаре.

Регистрация →
Трансляция →

#yacloud_events

Спасибо, что разбудили)

Сценарий - от множества (>1000) клиентовOUT приходят логи от 2 до 10 строк, от других клиентовIN идут запросы на выборку логов адресованных им (адресаты логов предполагается хранить в массиве int64 у одного лога может быть до 10 адресатов).
Господа подскажите какой движок таблицы выбрать. И в каком виде хранить адресатов с точки зрения скорости выборки.

Берите InnoDB, судя по кол-ву строк в выбоке - должно хватить

Каждый клиентOUT шлёт логи каждую минуту, дополнительно эти логи нужно будет анализировать вне зависимости от адресата.
КлиентыIN могут делать запрос не регулярно, от одного раза в минуту до одного раза в месяц

Всё равно не понятно. В день сколько записей всег добавляется? От всех клиентов

а у всех сайт с докой лежит ?

А можно как-то узнать прогресс изменения типа столбца? Сделал ALTER MODIFY COLUMN, из Int64 в UInt64. Колонка на 200 Gb. Понять бы, сколько ждать...