M
а вместо join-в таблицы ивентов с таблицей юзеров, теперь ssd dictionary
Нашёл смердженную фичу. Интересно. А сколько туда может влезть данных. Так как словари всегда шли с пометкой relatively small
Size: a a a
2020 August 30
l
Нашёл смердженную фичу. Интересно. А сколько туда может влезть данных. Так как словари всегда шли с пометкой relatively small
Миллионы десятки миллионов терпимо
A
так я ту же таблицу и джойнил 🙂 Задача была - надо было сджойнить два действия пользователя, одно за другим и сделать воронку. Ну а в кликхаусе я думал сджойнить таблицу юзеров и их действий. И там и там PK - это userID.
M
Миллионы десятки миллионов терпимо
Глянул щас код. Так там словарь вроде как звёзд с неба не хватает, его же нельзя юзать, как отдельную таблицу и делать по нему доп. выборки. Допустим, у юзера есть поле Country, и вот хочется его учитывать в запросе. При этом таблица юзеров, как уже все подметили, должна быть OLTP
M
Не, очень медленная штука. Тестил на 6млн записях, у скорость около 2сек была. Написал свою имплементацию, на 20млн 500мс скорость на одном ядре 🙂
l
Глянул щас код. Так там словарь вроде как звёзд с неба не хватает, его же нельзя юзать, как отдельную таблицу и делать по нему доп. выборки. Допустим, у юзера есть поле Country, и вот хочется его учитывать в запросе. При этом таблица юзеров, как уже все подметили, должна быть OLTP
Если юзер лежит в словаре, то просто пишешь в WHERE dictGet(users,country,user_id) = Russia
M
Если юзер лежит в словаре, то просто пишешь в WHERE dictGet(users,country,user_id) = Russia
Бенчи бы ещё глянкть. В ишью просили сделать их, но пока видимо нет
l
Бенчи бы ещё глянкть. В ишью просили сделать их, но пока видимо нет
Бенчи на что?
D
Бенчи бы ещё глянкть. В ишью просили сделать их, но пока видимо нет
Bench на словари?
M
ну да, почему бы и нет
M
это же словари
D
У словарей проблема только в памяти, жрут как не в себя
M
ну вот я и говорю
D
Ну вы создайте словарь и увидите
D
Сто кейсов - сто бенчей
l
Ну из головы, джоин на таблицу в 5 лям + словарь на 50 лям, 32 ядра сервер, ок 100 млн в секунду
l
Вроде как то так
AK
насколько я понимаю на сотнях миллионов юзеров и миллиардах ивентов воронки можно сделать только до заливки в dwh
И как потом это хранить по бест практису? Нумеровать событие в разрезе юзера, чтобы хеш джойном потом воронку строить?
DC
ssd dictionary все равно похоже медлено, сделал словарь на миллирдной таблице, с 8ГБ кеша, маленькими кусками читает из таблицы, флашит в кеш
M
Ну из головы, джоин на таблицу в 5 лям + словарь на 50 лям, 32 ядра сервер, ок 100 млн в секунду
интересно, спасибо. А почему не наоборот? В смысле не 5млн словарь и 50млн строк. Или так и задумано?