вот так попроще. Но конечно лучше сделать материализованные представления и разбирать данные

всё-равно разбирать регулярками

ClickHouse/ClickHouse tagged: v21.1.2.15-stable
Link: https://github.com/ClickHouse/ClickHouse/releases/tag/v21.1.2.15-stable
Release notes:

ClickHouse stable release v21.1.2.15-stable

А как вы его добавляете, как второй диск (cold) или как основной?
Можете, пожалуйста, конфиг до-после показать?

добавляю как второй холодный
в конфиге ничего особо нет

      <tiered>
        <move_factor>0.1</move_factor>
        <volumes>
          <hot>
            <disk>hot_ssd_0</disk>
          </hot>

          <s3>
            <disk>s3</disk>
          </s3>
        </volumes>
      </tiered>

      <tiered>
        <move_factor>0.1</move_factor>
        <volumes>
          <hot>
            <disk>hot_ssd_0</disk>
          </hot>

          <s3>
            <disk>s3</disk>
          </s3>
        </volumes>
      </tiered>

Хм.
А полный стектрейс ошибки можете показать, пожалуйста?

думаю может надо дать какое-то время чтобы папка создалась
из ошибки сразу удалил s3 из полиси пока

Здравствуйте, коллеги. Нужна помощь с добавлением индекса.

clh01 :) alter table traffic add index packetDate_ packetDate type minmax granularity 8192

ALTER TABLE traffic
   ADD INDEX packetDate_ packetDate TYPE minmax GRANULARITY 8192


Query id: 2e43efe9-d10a-4720-862a-6a529b9ddd53

Ok.

0 rows in set. Elapsed: 0.022 sec.

clh01 :) alter table traffic materialize index packetDate_

ALTER TABLE traffic
   MATERIALIZE INDEX packetDate_


Query id: 33c7de4e-b068-4b41-99e2-88afb045d4ca

Ok.

0 rows in set. Elapsed: 0.013 sec.

clh01 :) optimize table traffic final

OPTIMIZE TABLE traffic FINAL

Query id: cf81bec4-650d-4150-801b-cc4f4d306cba

Timeout exceeded while receiving data from server. Waited for 300 seconds, timeout is 300 seconds.
Cancelling query.
Ok.
Query was cancelled.

0 rows in set. Elapsed: 3431.730 sec.

Привет! Подскажите, пожалуйста, как залить на КХ внешние таблицы csv? (таблиц много 100 штук с одной и той же структурой)

А рестарт сервера помогает?
Просто эти папки должны создаваться при старте таблицы, если их нет.

curl -T ~/Downloads/tablename.csv.gz -X POST -v --progress-bar \
-H "Content-Encoding: gzip" \
-H "Content-type: text/csv" \
-H 'X-ClickHouse-User: default' \
-H 'X-ClickHouse-Key: mySecurePass' \
'https://www.host.com/?query=INSERT%20INTO%20tablename%20FORMAT%20CSVWithNames'

я не решился проверять
поэтому может быть :)

Кажется, что рестарт должен помочь.
Добавление "наживую" толком не тестировалось.

Какое значение по default в кликхаусе max_execution_time ?

Спасибо!

гайз, а как можно изменить партиционирование без боли ? Было партиционирование по недели, сейчас необходить сделать по месяцу. Ну и что бы помержилось все. Кроме как переливать в другую таблицу есть варики ?

Создаешь вторую таблицу, с нужным партиционированием. Объединяешь их с помощью движка Merge. Начинаешь писать в новую таблицу, читать из Merge.

из-за слишком большого количества партиций у меня огромное количество партов. Проблема решается альтером партиционирования на месяц.

Ребята, а есть ли какие нить альтернативы, как сделать подобный запрос:
Хочется выбрать первые строки по каждому пользователю, из довольно увесистого лога.

select
      user,
      createdAt,
      at as first_log_at,
      abs(first_log_at - createdAt) as create_time_lag_sec,
      country,
      platform,
      version as start_version
from isp
where createdAt between toDate('2020-01-01') and today()
order by at
limit 1 by user

Текущий вылетает по памяти:
Code: 241, e.displayText() = DB::Exception: Memory limit (for query) exceeded: would use 9.31 GiB (attempt to allocate chunk of 4195401 bytes), maximum: 9.31 GiB: (avg_value_size_hint = 14.086669921875, avg_chars_size = 7.304003906249999, limit = 8192): (while reading column version): (while reading from part /var/lib/clickhouse/data/raven/log_r/4383f25745ae9ef993e861ad0c5bed11_0_26_48/ from mark 192 with max_rows_to_read = 8192): While executing MergeTreeThread (version 20.11.3.3 (official build))

Вот такой вот запрос работает без проблем: но min(version) != version на первой записи
select user,
      country,
      platform,
      createdAt,
      min(version) as start_version,
      min(at) as first_log_at,
      abs(first_log_at - createdAt) as create_time_lag_sec
from raven.isp
where isp.createdAt > toDate('2020-01-01')
group by user, country, platform, createdAt;