Size: a a a

ClickHouse не тормозит

2020 July 29

АА

Алексей Артамонов... in ClickHouse не тормозит
@den_crane
initLimit=10
syncLimit=5
maxClientCnxns=60
authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
4lw.commands.whitelist=srvr, mntr
#requireClientAuthScheme=sasl
tickTime=2000
dataDir=/opt/bitnami/zookeeper/data
reconfigEnabled=true
dynamicConfigFile=/opt/bitnami/zookeeper/conf/zoo.cfg.dynamic.100000000
skipACL=yes

keeper0=0.0.0.0:2888:3888
keeper1=10.0.0.5:2888:3888
keeper2=10.0.0.4:2888:3888
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
единственное requireClientAuthScheme закоментирован
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey
старые данные не хочу удалять, хочется что бы они переносились на другой диск и что бы они были доступны

по поводу обновления КХ вроде бы все просто
$ sudo apt-get update
$ sudo apt-get install clickhouse-client clickhouse-server
$ sudo service clickhouse-server restart


а вот с движком, думаю вот так пробовать
DETACH TABLE db.table_name
mv data new_data
create table
mv new_data data
ATTACH TABLE db.table_name
чудак человек, ничего у вас не выйдет ни первое ни второе, даже не начинайте, только все сломаете без возможности вернутся.
Вам надо либо пеерзжать на сервер с большим диском либо добавлять новые диски в рейд
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Артамонов
@den_crane
initLimit=10
syncLimit=5
maxClientCnxns=60
authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
4lw.commands.whitelist=srvr, mntr
#requireClientAuthScheme=sasl
tickTime=2000
dataDir=/opt/bitnami/zookeeper/data
reconfigEnabled=true
dynamicConfigFile=/opt/bitnami/zookeeper/conf/zoo.cfg.dynamic.100000000
skipACL=yes

keeper0=0.0.0.0:2888:3888
keeper1=10.0.0.5:2888:3888
keeper2=10.0.0.4:2888:3888
И где тут про пароли? Вы сами-то проверяли через zkcli что пароль нужен?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Артамонов
@den_crane
initLimit=10
syncLimit=5
maxClientCnxns=60
authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
4lw.commands.whitelist=srvr, mntr
#requireClientAuthScheme=sasl
tickTime=2000
dataDir=/opt/bitnami/zookeeper/data
reconfigEnabled=true
dynamicConfigFile=/opt/bitnami/zookeeper/conf/zoo.cfg.dynamic.100000000
skipACL=yes

keeper0=0.0.0.0:2888:3888
keeper1=10.0.0.5:2888:3888
keeper2=10.0.0.4:2888:3888
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
эм я чего-то не понимаю? authProvider.1=org.apache.zookeeper.server.auth.SASLAu
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
это разве не то?
источник

A

Andrey in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
чудак человек, ничего у вас не выйдет ни первое ни второе, даже не начинайте, только все сломаете без возможности вернутся.
Вам надо либо пеерзжать на сервер с большим диском либо добавлять новые диски в рейд
т.е получается старый движок приговор и никак не обновиться нормально?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Артамонов
это разве не то?
Не знаю, возможно надо еще zookeeper.set.acl=true

Вы сами-то проверяли через zkcli что пароль нужен?
источник

DM

Denis Markin in ClickHouse не тормозит
Коллеги, добрый день! Сейчас занимаемся сервисом текстового поиска по КХ. Есть необходимость текстового поиска в разных источниках (столбцах). Сейчас генерируются такого рода запросы:

SELECT  emid as avid_id, 
       id as viplanner_id
FROM objects
where (hasAll(name, ['кремль'])
WHERE (hasAll(name, ['кремль'])
OR hasAll(full_name, ['кремль'])
OR hasAll(note, ['кремль'])
OR hasAll(maintitle, ['кремль'])
OR hasAll(description, ['кремль'])
OR hasAll(keywords, ['кремль'])
OR hasAll(archive, ['кремль'])
)
AND emid != 0
AND stream_class = 'VIDEO'
ORDER BY emid, id
LIMIT 20



SELECT  emid as avid_id,
       id as viplanner_id
FROM objects
WHERE ((arrayExists(x -> x LIKE '%кремль%', name))
OR (arrayExists(x -> x LIKE '%кремль%', full_name))
OR (arrayExists(x -> x LIKE '%кремль%', note))
OR (arrayExists(x -> x LIKE '%кремль%', maintitle))
OR (arrayExists(x -> x LIKE '%кремль%', description))
OR (arrayExists(x -> x LIKE '%кремль%', keywords))
OR (arrayExists(x -> x LIKE '%кремль%', archive))
)
AND emid != 0
AND stream_class = 'VIDEO'
ORDER BY emid, id
LIMIT 0, 20


Первый случай более предпочтителен, со стороны компактности кода, т.к в hasAll может приходить более одного элемента. Есть ли какие-то различия в работе через hasAll или через arrayExists+like?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey
т.е получается старый движок приговор и никак не обновиться нормально?
Обновится в каком смысле? Кх можно обновлять. Старый синтаксис поддерживается
источник

A

Andrey in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Обновится в каком смысле? Кх можно обновлять. Старый синтаксис поддерживается
вы написали
> ничего у вас не выйдет ни первое ни второе

я так понял вы говорили про обновление КХ и обновление движка что не получится
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Denis Markin
Коллеги, добрый день! Сейчас занимаемся сервисом текстового поиска по КХ. Есть необходимость текстового поиска в разных источниках (столбцах). Сейчас генерируются такого рода запросы:

SELECT  emid as avid_id, 
       id as viplanner_id
FROM objects
where (hasAll(name, ['кремль'])
WHERE (hasAll(name, ['кремль'])
OR hasAll(full_name, ['кремль'])
OR hasAll(note, ['кремль'])
OR hasAll(maintitle, ['кремль'])
OR hasAll(description, ['кремль'])
OR hasAll(keywords, ['кремль'])
OR hasAll(archive, ['кремль'])
)
AND emid != 0
AND stream_class = 'VIDEO'
ORDER BY emid, id
LIMIT 20



SELECT  emid as avid_id,
       id as viplanner_id
FROM objects
WHERE ((arrayExists(x -> x LIKE '%кремль%', name))
OR (arrayExists(x -> x LIKE '%кремль%', full_name))
OR (arrayExists(x -> x LIKE '%кремль%', note))
OR (arrayExists(x -> x LIKE '%кремль%', maintitle))
OR (arrayExists(x -> x LIKE '%кремль%', description))
OR (arrayExists(x -> x LIKE '%кремль%', keywords))
OR (arrayExists(x -> x LIKE '%кремль%', archive))
)
AND emid != 0
AND stream_class = 'VIDEO'
ORDER BY emid, id
LIMIT 0, 20


Первый случай более предпочтителен, со стороны компактности кода, т.к в hasAll может приходить более одного элемента. Есть ли какие-то различия в работе через hasAll или через arrayExists+like?
Так первое проверяет что елемент массива равен крмль а второе что содержит крмль
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey
вы написали
> ничего у вас не выйдет ни первое ни второе

я так понял вы говорили про обновление КХ и обновление движка что не получится
я про то что обновление кх без тестирования на стейдже новой версии приводит к плачевным результатам
источник

DM

Denis Markin in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Так первое проверяет что елемент массива равен крмль а второе что содержит крмль
Просто со стороны логики это одно и тоже, если я не путаю. Просто мы в одном случае "весь" массив проверяем на вхождение, а во втором будет дописывать каждому новому элементу AND (arrayExists(x -> x LIKE '%крмль2%', maintitle) и скобки
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
@den_crane setAcl в ЗК надо на всех нодах ЗК делать?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Артамонов
@den_crane setAcl в ЗК надо на всех нодах ЗК делать?
На одной. Это единая бд
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Denis Markin
Просто со стороны логики это одно и тоже, если я не путаю. Просто мы в одном случае "весь" массив проверяем на вхождение, а во втором будет дописывать каждому новому элементу AND (arrayExists(x -> x LIKE '%крмль2%', maintitle) и скобки
Ну вы путаете
источник

A

Andrey in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
я про то что обновление кх без тестирования на стейдже новой версии приводит к плачевным результатам
это понял, сначала на тестовом КХ буду пробовать, но как быть с движком? потому как нет возможности добавлять еще диски...
источник

DM

Denis Markin in ClickHouse не тормозит
Понял, тогда вопрос в таком ключе, есть ли существенная разница в скорости like vs =, при условии что текст токенизирован и нормализован => в одном элементе - одно слово
источник