Size: a a a

ClickHouse не тормозит

2021 March 15

D

Danil in ClickHouse не тормозит
Danil
судя по всему нет )
перепробовал всяческие варианты задания параметров для remote() - всегда ошибка таймаута ((
источник

O

Oleg Bazdyrev in ClickHouse не тормозит
блин, не пойму, делаю просто
full join -> Expected ANY or ALL in JOIN section, because setting (join_default_strictness) is empty.

делаю full any join -> Expected JOIN (вместо any)
источник

O

Oleg Bazdyrev in ClickHouse не тормозит
что ему надо-то?)
источник

O

Oleg Bazdyrev in ClickHouse не тормозит
с set join_default_strictness='ANY' заработало без ничего, но как все же надо без настройки?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Mishanya
Ребят, в чем прпоблема может быть ?

есть два запроса


select countIf(action = ‘my_action and status = ‘my_status’) from my_table inner join another table
=> 1000



create view my_view AS
 select
    id,
    status,
    action
  from my_table
  inner join another table

select countIf(action = ‘my_action and status = ‘my_status’) from my_view
=> 0


это как так ?
баг наверное
источник

IL

Igor Levdansky in ClickHouse не тормозит
Привет, делаю агрегат
CREATE MATERIALIZED VIEW items_agg 
ENGINE = AggregatingMergeTree() PARTITION BY date ORDER BY (person_id, station_id, hostname, date, app_id, app_sub_category, app_category)
POPULATE AS SELECT
   station_id,
   hostname,
   person_id,
   toDate(items_log.date) date,          
   argMaxState(items_log.groups, items_log.date) groups,

   argMaxState(app_id, items_log.date) app_id,  
   argMaxState(app_category, items_log.date) app_category,
   argMaxState(app_sub_category, items_log.date) app_sub_category,

   minState(items_log.date) start_date,      
   maxState(items_log.date) end_date,      
   -- maxState(date) + toUInt64(argMaxMerge(argMaxState(duration), date) / 1000) end_date,

   sumState(items_log.duration) sum_duration
FROM items_log
GROUP BY person_id, station_id, hostname, toDate(items_log.date), app_id, app_sub_category, app_category

Но ругается `Received exception from server (version 20.8.4):
Code: 46. DB::Exception: Received from localhost:9001. DB::Exception: Unknown function argMaxState`
В чем может быть проблема?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Mikhail
@den_crane буду признателен за инфу
да вроде не теряет даже при падениях, не понял о чем вы
источник

M

Mikhail in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
да вроде не теряет даже при падениях, не понял о чем вы
потерялась часть данных, которая инсертилась в distributed таблицу, ща пишем в шарды самостоятельно, без использования distributed, но хотелось бы понять, из-за чего могут потеряться
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Sergey Surkov
В среднем 500 байт будет событие CEF, может есть где-то информация по сайзингу? В документации не нашёл
нет сайзинга.
записать такой поток сможет 1 сервер с 64ГБ, 8 core cpu и c одним hdd диском. Записать не проблема, проблема в select
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Mikhail
потерялась часть данных, которая инсертилась в distributed таблицу, ща пишем в шарды самостоятельно, без использования distributed, но хотелось бы понять, из-за чего могут потеряться
подземный стук., слишком мало инфомации, я о таких проблемах, багах, ничего не слышал
источник

M

Mikhail in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
подземный стук., слишком мало инфомации, я о таких проблемах, багах, ничего не слышал
ясно, думал может какая-то известная проблема, спасибо
источник

MM

Maxim Mezhekov in ClickHouse не тормозит
Maxim Mezhekov
вот такое в конфиг добавил
    <storage_configuration>
       <disks>
           <disk2>
               <path>/var/lib/clickhouse_2/</path>
           </disk2>
           <disk3>
               <path>/var/lib/clickhouse_3/</path>
           </disk3>
       </disks>


       <policies>
           <default>
               <volumes>
                   <default>
                       <disk>default</disk>
                       <max_data_part_size_bytes>50000000</max_data_part_size_bytes>
                   </default>
                   <data>
                       <disk>disk2</disk>
                       <disk>disk3</disk>
                   </data>
              </volumes>
              <move_factor>0.97</move_factor>
           </default>
       </policies>
   </storage_configuration>
Если это тривиально, может ткнете в меня ссылкой, я буду благодарен.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Igor Levdansky
Привет, делаю агрегат
CREATE MATERIALIZED VIEW items_agg 
ENGINE = AggregatingMergeTree() PARTITION BY date ORDER BY (person_id, station_id, hostname, date, app_id, app_sub_category, app_category)
POPULATE AS SELECT
   station_id,
   hostname,
   person_id,
   toDate(items_log.date) date,          
   argMaxState(items_log.groups, items_log.date) groups,

   argMaxState(app_id, items_log.date) app_id,  
   argMaxState(app_category, items_log.date) app_category,
   argMaxState(app_sub_category, items_log.date) app_sub_category,

   minState(items_log.date) start_date,      
   maxState(items_log.date) end_date,      
   -- maxState(date) + toUInt64(argMaxMerge(argMaxState(duration), date) / 1000) end_date,

   sumState(items_log.duration) sum_duration
FROM items_log
GROUP BY person_id, station_id, hostname, toDate(items_log.date), app_id, app_sub_category, app_category

Но ругается `Received exception from server (version 20.8.4):
Code: 46. DB::Exception: Received from localhost:9001. DB::Exception: Unknown function argMaxState`
В чем может быть проблема?
почему у вас в ORDER BY поля которые argMaxState, так не работает, вы неправильно поняли зачем AggregatingMergeTree нужен ORDER BY
AggregatingMergeTree использует ORDER BY поля, чтобы делать сам aggregate в момент мержа
источник

IL

Igor Levdansky in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
почему у вас в ORDER BY поля которые argMaxState, так не работает, вы неправильно поняли зачем AggregatingMergeTree нужен ORDER BY
AggregatingMergeTree использует ORDER BY поля, чтобы делать сам aggregate в момент мержа
Спасибо, посмотрю
источник

C

Claire in ClickHouse не тормозит
Добрый день!
Есть ли возможность сохранять пустые массивы при использовании arrayjoin?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Mikhail
ясно, думал может какая-то известная проблема, спасибо
нет, так не должно быть
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Claire
Добрый день!
Есть ли возможность сохранять пустые массивы при использовании arrayjoin?
да
источник

SS

Sergey Surkov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
нет сайзинга.
записать такой поток сможет 1 сервер с 64ГБ, 8 core cpu и c одним hdd диском. Записать не проблема, проблема в select
Спасибо!
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Claire
Добрый день!
Есть ли возможность сохранять пустые массивы при использовании arrayjoin?
SELECT
   1,
   arrayJoin(emptyArrayToSingle(cast([], 'Array(String)')))

┌─1─┬─arrayJoin(emptyArrayToSingle(CAST(array(), 'Array(String)')))─┐
│ 1 │                                                               │
└───┴───────────────────────────────────────────────────────────────┘
источник

C

Claire in ClickHouse не тормозит
Спасибо большое!
Сейчас попробую
Upd: работает
источник