Size: a a a

ClickHouse не тормозит

2020 July 11

СХ

Старый Хрыч... in ClickHouse не тормозит
😐ну вот и что тогда брать?
источник

СХ

Старый Хрыч... in ClickHouse не тормозит
снова хадупы, данные в hdfs и подключаться через 10-15 прослоек?
источник

e

er@essbase.ru in ClickHouse не тормозит
Каким запросом можно получить список всех view ?
источник

e

er@essbase.ru in ClickHouse не тормозит
select dependencies_table  from system.tables ?
источник

DV

Dmitry Vasiliev in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
в том то и дело что индексов нету в КХ, поэтому фуллскан прочитает и распакует 90ГБ, и в лучшем случае займет 90сек.
ну поиск по целому дню не особо нужен, основной use-case по ренджу 15 минут. ну и sql проще lucene
источник

DV

Dmitry Vasiliev in ClickHouse не тормозит
по структуированым логам, типа событий http, упаковывается еще лучше и хорошо решается через matview
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
er@essbase.ru
Каким запросом можно получить список всех view ?
select * from system.tables where engine = 'View'
источник

e

er@essbase.ru in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
select * from system.tables where engine = 'View'
такое имеет смысл ?
SELECT distinct database ||'.'|| name  as value FROM system.tables where engine = 'View'
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
er@essbase.ru
такое имеет смысл ?
SELECT distinct database ||'.'|| name  as value FROM system.tables where engine = 'View'
да, но distinct не нужен
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
Привет! В каких случаях селект с sample может быть медленней чем без sample? Как то неправильно ключ был задан при создании? Если так, то какое потенциальное значение должно быть в SAMPLE BY $column чтобы работало?
источник
2020 July 12

DC

Denny Crane (I don't... in ClickHouse не тормозит
Илья Максимов
Привет! В каких случаях селект с sample может быть медленней чем без sample? Как то неправильно ключ был задан при создании? Если так, то какое потенциальное значение должно быть в SAMPLE BY $column чтобы работало?
в общем случае sample имеет смысл при .1 и менее
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
Всмысле SAMLE 0.1? Я ставил самые разные значения, 0.1, 0.5, 0.001 и всё без толку. В моём случае семплирование стоит по полю auction_id, число всегда разное. Надо было его оборачивать в какой нибудь хеш?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Илья Максимов
Всмысле SAMLE 0.1? Я ставил самые разные значения, 0.1, 0.5, 0.001 и всё без толку. В моём случае семплирование стоит по полю auction_id, число всегда разное. Надо было его оборачивать в какой нибудь хеш?
хеш нужен что бы результат был правильный.
например auction_id от 1101 до 300000009 , а хеш от auction_id будет от 0 до maxUInt64

если чтение с диска занимает большую часть запроса и sample где-нибудь 5 полем, то не конечно не поможет семплинг.
т.е. надо делать таблицы специально под запросы которые вы будете делать с семплингом.

например https://clickhouse.tech/docs/en/getting-started/tutorial/#create-tables
CREATE TABLE tutorial.visits_v1
...
ORDER BY (CounterID, StartDate, intHash32(UserID), VisitID)
SAMPLE BY intHash32(UserID)

у CounterID маленькая кардинальнасть, у StartDate тоже
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
аа всё, я вкурил, спасибо. Придётся пересоздавать таблицу конечно... Там семплирование под обычные запросы с count() и кучей where фильтров. Для графаны в основном нужно, точность не важна
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
Есть возможность поменять путь в зукипере? Чтобы сделать rename и поменять у таблицы путь в соответствии с новым названием таблицы?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Илья Максимов
Есть возможность поменять путь в зукипере? Чтобы сделать rename и поменять у таблицы путь в соответствии с новым названием таблицы?
можно сказать, что нет
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
🙏
источник

KM

Konstantin Malanchev in ClickHouse не тормозит
Добрый день!

Подскажите, насколько нормально такое поведение Materialized View на AggregatingMergeTree и можно ли что-то с этим сделать?

Я создал пустую таблицу table и материализованное представление view на ней с GROUP BY x. Дальше добавляю данные в table, данные появляются во view, но с небольшим числом повторов строк с одинаковым x, не похоже, что они собираются когда-то слиться, прошел день, а они все там
источник

SC

Smoked Cheese in ClickHouse не тормозит
так и задумано, надо либо в запросе домерживать, либо использовать select final
источник

SC

Smoked Cheese in ClickHouse не тормозит
агрегация происходит во время мержей
источник