В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

3949 membersпожаловаться на группу
2020 June 02

C

Constantine in ClickHouse не тормозит
подскажите в чем может быть проблема при запросе CREATE DATABASE db42 ON CLUSTER jake вываливается с ошибкой Watching task /clickhouse/task_queue/ddl/query-0000001147 is executing longer than distributed_ddl_task_timeout (=180) seconds. There are 3 unfinished hosts (0 of them are currently active), they are going to execute the query in background.. Кластеров много, много шардов и по две реплики в шарде. Но именно в кластере jake три шарда и по одной реплике. На всех хостах конфигурация одинаковая (я про конфиги). Доступ к ZK есть со всех хостов (проверял через telnet). В ZK создается запись о DDL запросе. Но сам запрос не работает не на одном хосте кластера. Проверил как остальные кластеры и там запрос работает. Может кто подскажет?
источник
23:45пожаловаться#1

A

Anton in ClickHouse не тормозит
Dmitry Titov
очень широкие и тд?
не на столько что бы уж большие, есть пару колонок с большим количеством текста от которых надо избавиться,
но есть подозрение что это просто мои кривые руки пытаются в консьюмере отправить всю очередь в 12к сообщений вместо 400
источник
23:46пожаловаться#2

DT

Dmitry Titov in ClickHouse не тормозит
Anton
не на столько что бы уж большие, есть пару колонок с большим количеством текста от которых надо избавиться,
но есть подозрение что это просто мои кривые руки пытаются в консьюмере отправить всю очередь в 12к сообщений вместо 400
ну это не должно быть проблемой на самом деле 12к, 400 штук
источник
23:47пожаловаться#3

A

Anton in ClickHouse не тормозит
@unamedrus в любом случае спасибо за мысли
источник
23:47пожаловаться#4

DT

Dmitry Titov in ClickHouse не тормозит
тут проблема где то в другом месте
источник
23:47пожаловаться#5

C

Constantine in ClickHouse не тормозит
Constantine
подскажите в чем может быть проблема при запросе CREATE DATABASE db42 ON CLUSTER jake вываливается с ошибкой Watching task /clickhouse/task_queue/ddl/query-0000001147 is executing longer than distributed_ddl_task_timeout (=180) seconds. There are 3 unfinished hosts (0 of them are currently active), they are going to execute the query in background.. Кластеров много, много шардов и по две реплики в шарде. Но именно в кластере jake три шарда и по одной реплике. На всех хостах конфигурация одинаковая (я про конфиги). Доступ к ZK есть со всех хостов (проверял через telnet). В ZK создается запись о DDL запросе. Но сам запрос не работает не на одном хосте кластера. Проверил как остальные кластеры и там запрос работает. Может кто подскажет?
конфиг кластера такой 

<yandex>
  <remote_servers>
    <jake>
      <shard>
        <internal_replication>true</internal_replication>
        <replica>
          <host>ch1.domain.net</host>
          <port>9000</port>
        </replica>
      </shard>
      <shard>
        <internal_replication>true</internal_replication>
        <replica>
          <host>ch2.domain.net</host>
          <port>9000</port>
        </replica>
      </shard>
      <shard>
        <internal_replication>true</internal_replication>
        <replica>
          <host>ch3.domain.net</host>
          <port>9000</port>
        </replica>
      </shard>
    </jake>
  </remote_servers>
</yandex>
источник
23:48пожаловаться#6

DC

Denny Crane (I don't... in ClickHouse не тормозит
Constantine
конфиг кластера такой 

<yandex>
  <remote_servers>
    <jake>
      <shard>
        <internal_replication>true</internal_replication>
        <replica>
          <host>ch1.domain.net</host>
          <port>9000</port>
        </replica>
      </shard>
      <shard>
        <internal_replication>true</internal_replication>
        <replica>
          <host>ch2.domain.net</host>
          <port>9000</port>
        </replica>
      </shard>
      <shard>
        <internal_replication>true</internal_replication>
        <replica>
          <host>ch3.domain.net</host>
          <port>9000</port>
        </replica>
      </shard>
    </jake>
  </remote_servers>
</yandex>
a например ch1.domain.net что думает про свое имя? hostname -f ?
источник
23:50пожаловаться#7

C

Constantine in ClickHouse не тормозит
пингует 127..
источник
23:51пожаловаться#8

A

Anton in ClickHouse не тормозит
Dmitry Titov
тут проблема где то в другом месте
вы правы, все же консюмер пытается отправить только 400, отключил все таблицы но эти таблицы продложают выдавать то же саммое, на них так же есть материализованные представления, возможно что то там не нравится
источник
23:52пожаловаться#9

DT

Dmitry Titov in ClickHouse не тормозит
Anton
вы правы, все же консюмер пытается отправить только 400, отключил все таблицы но эти таблицы продложают выдавать то же саммое, на них так же есть материализованные представления, возможно что то там не нравится
можно показать запрос мат вью?
источник
23:52пожаловаться#10

C

Constantine in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
a например ch1.domain.net что думает про свое имя? hostname -f ?
что то упаскаю я. это как то влияет, то есть когда хост сам себя пингует по своему имени 127? другие хосты в кластере его пингуют без проблем
источник
23:53пожаловаться#11

A

Anton in ClickHouse не тормозит
Dmitry Titov
можно показать запрос мат вью?
CREATE MATERIALIZED VIEW reports.daily_events_ad_impression TO reports.daily_events
AS SELECT
    1 as id,
    mautic_id,
    dictGetInt32('leads', 'allmedx_lead_id', toUInt64(mautic_id)) as allmedx_id,
    assumeNotNull(name) as event_name,
    'Ad Impression' as event_type,
    if(isNotNull(query) AND  query!='', CONCAT('Term: ', query), '')  as event_data,
    date_hit as event_date,
    request_url as link,
    '' as platform,
    npi
FROM (
    SELECT
        dictGetInt32('site_user_info', 'npi', toUInt64(user_id)) as npi_a,
        dictGetInt32('leads', 'npi', toUInt64(mautic_id)) as npi_m,
        IF(assumeNotNull(npi_m) > 0, npi_m, npi_a) as npi,
        *
    FROM mautic.revive_view
)
источник
23:54пожаловаться#12

DC

Denny Crane (I don't... in ClickHouse не тормозит
Constantine
что то упаскаю я. это как то влияет, то есть когда хост сам себя пингует по своему имени 127? другие хосты в кластере его пингуют без проблем
хост на котором вы запускаете берет из того конфига что показали имена хостов, и кладет в зукипер задания, т.е. в кластере jake есть ch1.domain.net, в зукипере для него появится строчка ch1.domain.net:900 делай то, ch1.domain.net проверяет, опа мне надо сделать то , выполняет ....
источник
23:55пожаловаться#13

DT

Dmitry Titov in ClickHouse не тормозит
Anton
CREATE MATERIALIZED VIEW reports.daily_events_ad_impression TO reports.daily_events
AS SELECT
    1 as id,
    mautic_id,
    dictGetInt32('leads', 'allmedx_lead_id', toUInt64(mautic_id)) as allmedx_id,
    assumeNotNull(name) as event_name,
    'Ad Impression' as event_type,
    if(isNotNull(query) AND  query!='', CONCAT('Term: ', query), '')  as event_data,
    date_hit as event_date,
    request_url as link,
    '' as platform,
    npi
FROM (
    SELECT
        dictGetInt32('site_user_info', 'npi', toUInt64(user_id)) as npi_a,
        dictGetInt32('leads', 'npi', toUInt64(mautic_id)) as npi_m,
        IF(assumeNotNull(npi_m) > 0, npi_m, npi_a) as npi,
        *
    FROM mautic.revive_view
)
вроде особого нет криминала.
хотя есть словари.
попробуй детачнуть вью и опять вставить
источник
23:57пожаловаться#14

DT

Dmitry Titov in ClickHouse не тормозит
assumeNotNull(npi_m) > 0
это проверка на положительность npi_m?
источник
23:59пожаловаться#15
2020 June 03

A

Anton in ClickHouse не тормозит
Dmitry Titov
вроде особого нет криминала.
хотя есть словари.
попробуй детачнуть вью и опять вставить
без изменений
источник
00:00пожаловаться#16

A

Anton in ClickHouse не тормозит
Dmitry Titov
assumeNotNull(npi_m) > 0
это проверка на положительность npi_m?
нужны не null больше 0
источник
00:00пожаловаться#17

C

Constantine in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
хост на котором вы запускаете берет из того конфига что показали имена хостов, и кладет в зукипер задания, т.е. в кластере jake есть ch1.domain.net, в зукипере для него появится строчка ch1.domain.net:900 делай то, ch1.domain.net проверяет, опа мне надо сделать то , выполняет ....
если я правильно понял текст )) КХ обращается к адресу 127…:9000, а сам висит на другом адресе (в моем случае на внутренней сети)?
источник
00:00пожаловаться#18

A

Anton in ClickHouse не тормозит
@unamedrus получил новенькое:
Code: 76. DB::Exception: Received from localhost:9000. DB::Exception: Cannot open file /var/lib/clickhouse/data/mautic/revive_view/1557766800_45310_45310_0_48966/revive_user_id.null.mrk, errno: 23, strerror: Too many open files in system: While executing MergeTree.
источник
00:02пожаловаться#19

DT

Dmitry Titov in ClickHouse не тормозит
Anton
@unamedrus получил новенькое:
Code: 76. DB::Exception: Received from localhost:9000. DB::Exception: Cannot open file /var/lib/clickhouse/data/mautic/revive_view/1557766800_45310_45310_0_48966/revive_user_id.null.mrk, errno: 23, strerror: Too many open files in system: While executing MergeTree.
ну это уже другое дело.
источник
00:02пожаловаться#20