Сервер AMD EPYC 7351P: 16 × 2.4ГГц, 64 ГБ DDR4, 2 × 960 ГБ SSD, 2 × 4 ТБ HDD

Чуть позже попробуем пересоздать нормально с ORDER BY не кривым и пролить еще разок, посмотрим. Надеюсь поможет нормальный ORDER BY

CREATE TABLE events
(
    `event` String,
    `event_date` Date DEFAULT toDate(event_time),
    `event_time` DateTime,
    `event_id` UInt32,
    `id_num_0` Float64,
    `id_num_1` Float64,
    `id_num_2` Float64,
    `id_num_3` Float64,
    `id_num_4` Float64,
    `id_num_5` Float64,
    `id_num_6` Float64,
    `id_num_7` Float64,
    `id_num_8` Float64,
    `id_num_9` Float64,
    `id_str_0` String,
    `id_str_1` String,
    `id_str_2` String,
    `id_str_3` String,
    `id_str_4` String,
    `id_str_5` String,
    `id_str_6` String,
    `id_str_7` String,
    `id_str_8` String,
    `id_str_9` String,
    `state_num_0` Float64,
    `state_num_1` Float64,
    `state_num_2` Float64,
    `state_num_3` Float64,
    `state_num_4` Float64,
    `state_num_5` Float64,
    `state_num_6` Float64,
    `state_num_7` Float64,
    `state_num_8` Float64,
    `state_num_9` Float64,
    `state_str_0` String,
    `state_str_1` String,
    `state_str_2` String,
    `state_str_3` String,
    `state_str_4` String,
    `state_str_5` String,
    `state_str_6` String,
    `state_str_7` String,
    `state_str_8` String,
    `state_str_9` String,
    `state_str_10` String,
    `state_str_11` String,
    `state_str_12` String,
    `state_str_13` String,
    `state_str_14` String,
    `state_str_15` String
)
ENGINE = ReplacingMergeTree(event_time)
PARTITION BY toYYYYMM(event_date)
ORDER BY (event,
 event_date,
 event_time,
 event_id,
 id_num_0,
 id_num_1,
 id_num_2,
 id_num_3,
 id_num_4,
 id_num_5,
 id_num_6,
 id_num_7,
 id_num_8,
 id_num_9,
 id_str_0,
 id_str_1,
 id_str_2,
 id_str_3,
 id_str_4,
 id_str_5,
 id_str_6,
 id_str_7,
 id_str_8,
 id_str_9)
SETTINGS index_granularity = 8192

а чего такой дикий ORDER BY ? Для Replacing?

Всем привет. Есть проблема, никак не могу ее решить. Есть таблица с дневными партициями. Вставляю один и те же данные в таблицу форматом TabSeparated. Все нормально, но в какой то момент после перезапуска моего приложения появляется исключение Code: 1000. DB::Exception: Received from localhost:9000. DB::Exception: JSONException: JSON: begin >= end..
Received exception from server (version 20.3.12):
И так может целый день, потом проходит. Проблема проявляется на разных серверах. Данные вставляются из приложения через clickhouse-client -q "insert to database.table" < data.tsv

Может кто-то встречался с подобным

Это такое наследие осталось. Я вообще думал, что стоит сократить до event, event_date, event_id

event_id - это рандомное число, тогда будет вариант перетирать плохие эвенты за счет вставки правильного эвенты с большим event_time

но из-за наследния начнаешь думать, что может что-то вылезет

можно сделать таблицу

primary key event, event_date, event_id
ordrer by event, event_date, event_id , .............

>DB::Exception: JSONException: JSON: begin >= end
это ошибка от инсерта??? materialized view ?

От инсерта. Если пробовать вручную clickhouse-client -q "insert to database.table" < data.tsv, то ошибка тоже есть

Стираю данные в таблице, все ок

а что у сервера в clickhouse-server.log , там будет длинее ошибка, с трассой

2020.07.22 20:24:38.531867 [ 107645 ] {} <Error> virtual DB::LogBlockOutputStream::~LogBlockOutputStream(): Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = JSONException: JSON:

0. Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0xbbad39c in /usr/bin/clickhouse
1. ? @ 0x4eaca2d in /usr/bin/clickhouse
2. DB::FileChecker::load(std::__1::map<std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> >, unsigned long, std::__1::less<std::__1::basic_string<char, std::
3. DB::FileChecker::update(std::__1::__wrap_iter<std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const*> const&, std::__1::__wrap_iter<std::__1::basic_s
4. DB::LogBlockOutputStream::writeSuffix() @ 0x96d2e6b in /usr/bin/clickhouse
5. DB::LogBlockOutputStream::~LogBlockOutputStream() @ 0x96d4ff4 in /usr/bin/clickhouse
6. std::__1::__shared_ptr_emplace<DB::PushingToViewsBlockOutputStream, std::__1::allocator<DB::PushingToViewsBlockOutputStream> >::__on_zero_shared() @ 0x8ad15ba in /usr/bin/clickhouse
7. std::__1::__shared_ptr_emplace<DB::SquashingBlockOutputStream, std::__1::allocator<DB::SquashingBlockOutputStream> >::__on_zero_shared() @ 0x8ad1f42 in /usr/bin/clickhouse
8. std::__1::__shared_ptr_emplace<DB::AddingDefaultBlockOutputStream, std::__1::allocator<DB::AddingDefaultBlockOutputStream> >::__on_zero_shared() @ 0x8ad1b8a in /usr/bin/clickhouse
9. std::__1::__shared_ptr_emplace<DB::CountingBlockOutputStream, std::__1::allocator<DB::CountingBlockOutputStream> >::__on_zero_shared() @ 0x8ad125a in /usr/bin/clickhouse
10. std::__1::__shared_ptr_emplace<DB::PushingToViewsBlockOutputStream, std::__1::allocator<DB::PushingToViewsBlockOutputStream> >::__on_zero_shared() @ 0x8ad156a in /usr/bin/clickhouse
11. std::__1::__shared_ptr_emplace<DB::SquashingBlockOutputStream, std::__1::allocator<DB::SquashingBlockOutputStream> >::__on_zero_shared() @ 0x8ad1f42 in /usr/bin/clickhouse
12. std::__1::__shared_ptr_emplace<DB::AddingDefaultBlockOutputStream, std::__1::allocator<DB::AddingDefaultBlockOutputStream> >::__on_zero_shared() @ 0x8ad1b8a in /usr/bin/clickhouse
13. std::__1::__shared_ptr_emplace<DB::CountingBlockOutputStream, std::__1::allocator<DB::CountingBlockOutputStream> >::__on_zero_shared() @ 0x8ad125a in /usr/bin/clickhouse
14. DB::QueryStatus::releaseQueryStreams() @ 0x8c26b0a in /usr/bin/clickhouse
15. DB::BlockIO::reset() @ 0x89431ef in /usr/bin/clickhouse
16. DB::BlockIO::operator=(DB::BlockIO&&) @ 0x8943338 in /usr/bin/clickhouse
17. DB::QueryState::reset() @ 0x50655e3 in /usr/bin/clickhouse
18. DB::TCPHandler::runImpl() @ 0x505f746 in /usr/bin/clickhouse
19. DB::TCPHandler::run() @ 0x5060489 in /usr/bin/clickhouse
20. Poco::Net::TCPServerConnection::start() @ 0x9c75867 in /usr/bin/clickhouse
21. Poco::Net::TCPServerDispatcher::run() @ 0x9c75c5d in /usr/bin/clickhouse
22. Poco::PooledThread::run() @ 0xbc1c07f in /usr/bin/clickhouse
23. Poco::ThreadImpl::runnableEntry(void*) @ 0xbc192e8 in /usr/bin/clickhouse
24. ? @ 0xbc1aa19 in /usr/bin/clickhouse
25. start_thread @ 0x7ea5 in /usr/lib64/libpthread-2.17.so
26. clone @ 0xfe8dd in /usr/lib64/libc-2.17.so
(version 20.3.12.112)

>clickhouse-client -q "insert to database.table" < data.tsv,

а у вас прям вот такой insert на самом деле?

или там все же написано insert to database.table FORMAT TSV ? или что?

Сорри, текст обрезался, вот так точнее:

2020.07.22 20:27:48.558283 [ 107643 ] {} <Error> virtual DB::LogBlockOutputStream::~LogBlockOutputStream(): Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = JSONException: JSON: begin >= end., Stack trace (when copying this message, always include the lines below):

0. Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0xbbad39c in /usr/bin/clickhouse
1. ? @ 0x4eaca2d in /usr/bin/clickhouse
2. DB::FileChecker::load(std::__1::map<std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> >, unsigned long, std::__1::less<std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > >, std::__1::allocator<std::__1::pair<std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const, unsigned long> > >&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&) const @ 0x9a3ca8f in /usr/bin/clickhouse
3. DB::FileChecker::update(std::__1::__wrap_iter<std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const*> const&, std::__1::__wrap_iter<std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const*> const&) @ 0x9a3ff10 in /usr/bin/clickhouse
4. DB::LogBlockOutputStream::writeSuffix() @ 0x96d2e6b in /usr/bin/clickhouse
5. DB::LogBlockOutputStream::~LogBlockOutputStream() @ 0x96d4ff4 in /usr/bin/clickhouse
6. std::__1::__shared_ptr_emplace<DB::PushingToViewsBlockOutputStream, std::__1::allocator<DB::PushingToViewsBlockOutputStream> >::__on_zero_shared() @ 0x8ad15ba in /usr/bin/clickhouse
7. std::__1::__shared_ptr_emplace<DB::SquashingBlockOutputStream, std::__1::allocator<DB::SquashingBlockOutputStream> >::__on_zero_shared() @ 0x8ad1f42 in /usr/bin/clickhouse
8. std::__1::__shared_ptr_emplace<DB::AddingDefaultBlockOutputStream, std::__1::allocator<DB::AddingDefaultBlockOutputStream> >::__on_zero_shared() @ 0x8ad1b8a in /usr/bin/clickhouse
9. std::__1::__shared_ptr_emplace<DB::CountingBlockOutputStream, std::__1::allocator<DB::CountingBlockOutputStream> >::__on_zero_shared() @ 0x8ad125a in /usr/bin/clickhouse
10. std::__1::__shared_ptr_emplace<DB::PushingToViewsBlockOutputStream, std::__1::allocator<DB::PushingToViewsBlockOutputStream> >::__on_zero_shared() @ 0x8ad156a in /usr/bin/clickhouse
11. std::__1::__shared_ptr_emplace<DB::SquashingBlockOutputStream, std::__1::allocator<DB::SquashingBlockOutputStream> >::__on_zero_shared() @ 0x8ad1f42 in /usr/bin/clickhouse
12. std::__1::__shared_ptr_emplace<DB::AddingDefaultBlockOutputStream, std::__1::allocator<DB::AddingDefaultBlockOutputStream> >::__on_zero_shared() @ 0x8ad1b8a in /usr/bin/clickhouse
13. std::__1::__shared_ptr_emplace<DB::CountingBlockOutputStream, std::__1::allocator<DB::CountingBlockOutputStream> >::__on_zero_shared() @ 0x8ad125a in /usr/bin/clickhouse
14. DB::QueryStatus::releaseQueryStreams() @ 0x8c26b0a in /usr/bin/clickhouse
15. DB::BlockIO::reset() @ 0x89431ef in /usr/bin/clickhouse
16. DB::BlockIO::operator=(DB::BlockIO&&) @ 0x8943338 in /usr/bin/clickhouse
17. DB::QueryState::reset() @ 0x50655e3 in /usr/bin/clickhouse
18. DB::TCPHandler::runImpl() @ 0x505f746 in /usr/bin/clickhouse
19. DB::TCPHandler::run() @ 0x5060489 in /usr/bin/clickhouse
20. Poco::Net::TCPServerConnection::start() @ 0x9c75867 in /usr/bin/clickhouse
21. Poco::Net::TCPServerDispatcher::run() @ 0x9c75c5d in /usr/bin/clickhouse
22. Poco::PooledThread::run() @ 0xbc1c07f in /usr/bin/clickhouse
23. Poco::ThreadImpl::runnableEntry(void*) @ 0xbc192e8 in /usr/bin/clickhouse
24. ? @ 0xbc1aa19 in /usr/bin/clickhouse
25. start_thread @ 0x7ea5 in /usr/lib64/libpthread-2.17.so
26. clone @ 0xfe8dd in /usr/lib64/libc-2.17.so
(version 20.3.12.112)

Да, чуть ошибся, clickhouse client -q \"insert into database.table format TabSeparated" < data.tsv

Сам SQL правильный и он работает, может работать долго и без проблем, но вот в какой то момент вылезает ошибка, но потом исчезает к концу дня.

ну ошибка в при вставке во вью PushingToViewsBlockOutputStream , MV вообще есть?
обновите КХ до 20.3.14.130
и заведите тикет https://github.com/ClickHouse/ClickHouse/issues