Size: a a a

ClickHouse не тормозит

2020 September 15

DC

Denny Crane [not a Y... in ClickHouse не тормозит
HOST 'localhost' PORT 9000 -- это специальная мантра чтобы ходить в самого себя
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
ничего тут менять нельзя
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
КХ не использует по факту сеть когда видит HOST 'localhost' PORT 9000
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
если это его listenport
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
естественно тут можно менять когда хочется пойти в другой кх
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Эмил
Можно ли как то настроит чтобы commit к базе сработывал автоматически а не в ручную?
ну никто не понимает ваших вопросов. В КХ нет транзакций, ни про какие комиты в КХ никто тут ничего не знает
Никто не знает что вы через go драйвер делаете инсерты, напишите вопрос по человечески уже.
источник

Э

Эмил in ClickHouse не тормозит
Извиняюсь
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Эмил
Извиняюсь
c куском кода go и что вы хотите, тут даже автор go драйвера отвечает, если упомянуть имя гитхаб-репы
источник

Э

Эмил in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
c куском кода go и что вы хотите, тут даже автор go драйвера отвечает, если упомянуть имя гитхаб-репы
понял
источник

AS

Alexey Sokolov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
КХ не использует по факту сеть когда видит HOST 'localhost' PORT 9000
Ох. Действительно, так всё тут же заработало.
Спасибо.
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Ребят, а подскажите плз, можно как-то через квоты сделать лимит по использованию памяти определенным пользователем?
источник

V

Vladislav in ClickHouse не тормозит
Всем привет. Не парсится json строка в кафке:
2020.09.15 12:49:31.418840 [ 83 ] {} <Error> void DB::StorageKafka::threadFunc(): Code: 26, e.displayText() = DB::Exception: Cannot parse JSON string: expected opening quote: (while read the value of key reg_date): (at row 1)


Таблица
CREATE TABLE social_stats.stats_queue
(
   `time` UInt64 DEFAULT toUInt64(0),
   `uid` String DEFAULT '',
   `game_id` String DEFAULT '',
   `event_id` String DEFAULT '',
   `platform` String DEFAULT '',
   `ref_id` String DEFAULT '',
   `info_referrer` String DEFAULT '',
   `info_country` String DEFAULT '',
   `info_sex` String DEFAULT '',
   `info_city` String DEFAULT '',
   `info_age` Int32 DEFAULT toInt32(0),
   `previousLastLoginTime` Int32 DEFAULT toInt32(0),
   `price` Int32 DEFAULT toInt32(0),
   `absent` Int32 DEFAULT toInt32(0),
   `lastLevel` Int32 DEFAULT toInt32(0),
   `ab` String DEFAULT '',
   `item` String DEFAULT '',
   `level` Int32 DEFAULT toInt32(0),
   `reg_date` String DEFAULT '',
   `step` Int32 DEFAULT toInt32(0),
   `ref_type` String DEFAULT '',
   `num` String DEFAULT '',
   `id` String DEFAULT '',
   `type` String DEFAULT '',
   `style` String DEFAULT ''
)
ENGINE = Kafka
SETTINGS kafka_broker_list = 'stream-kafka-bootstrap.data-apps:9092', kafka_topic_list = 'social-stats', kafka_group_name = 'social-stats-clickhouse', kafka_format = 'JSONEachRow', kafka_num_consumers = 1


Если посмотреть по партиции сonsumer offset, то в kafka находится такая строка:

{"event_id":"load","game_id":"moh","uid":"1364215611111111","platform":"fb","level":1133,"reg_date":"1498072624","ab":"bank11","ref_type":"unknown","ref_id":"unknown","info_referrer":"request","info_country":"","info_sex":"","info_city":"","info_age":0,"price":-1,"absent":-1,"item":"unknown","step":-1,"num":"unknown","id":"unknown","type":"unknown","style":"unknown","previous_last_login_time":-1,"date":1599623705,"last_level":-1}


Не могу понять, что именно в ней не так с reg_date или чем-либо еще.
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
Ну написано вроде "открывающую кавычку хочу"
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
Вполне логично
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
И поле даж указано reg date
источник

V

Vladislav in ClickHouse не тормозит
Но ведь есть кавычки "reg_date":"1498072624"
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Vladislav
Всем привет. Не парсится json строка в кафке:
2020.09.15 12:49:31.418840 [ 83 ] {} <Error> void DB::StorageKafka::threadFunc(): Code: 26, e.displayText() = DB::Exception: Cannot parse JSON string: expected opening quote: (while read the value of key reg_date): (at row 1)


Таблица
CREATE TABLE social_stats.stats_queue
(
   `time` UInt64 DEFAULT toUInt64(0),
   `uid` String DEFAULT '',
   `game_id` String DEFAULT '',
   `event_id` String DEFAULT '',
   `platform` String DEFAULT '',
   `ref_id` String DEFAULT '',
   `info_referrer` String DEFAULT '',
   `info_country` String DEFAULT '',
   `info_sex` String DEFAULT '',
   `info_city` String DEFAULT '',
   `info_age` Int32 DEFAULT toInt32(0),
   `previousLastLoginTime` Int32 DEFAULT toInt32(0),
   `price` Int32 DEFAULT toInt32(0),
   `absent` Int32 DEFAULT toInt32(0),
   `lastLevel` Int32 DEFAULT toInt32(0),
   `ab` String DEFAULT '',
   `item` String DEFAULT '',
   `level` Int32 DEFAULT toInt32(0),
   `reg_date` String DEFAULT '',
   `step` Int32 DEFAULT toInt32(0),
   `ref_type` String DEFAULT '',
   `num` String DEFAULT '',
   `id` String DEFAULT '',
   `type` String DEFAULT '',
   `style` String DEFAULT ''
)
ENGINE = Kafka
SETTINGS kafka_broker_list = 'stream-kafka-bootstrap.data-apps:9092', kafka_topic_list = 'social-stats', kafka_group_name = 'social-stats-clickhouse', kafka_format = 'JSONEachRow', kafka_num_consumers = 1


Если посмотреть по партиции сonsumer offset, то в kafka находится такая строка:

{"event_id":"load","game_id":"moh","uid":"1364215611111111","platform":"fb","level":1133,"reg_date":"1498072624","ab":"bank11","ref_type":"unknown","ref_id":"unknown","info_referrer":"request","info_country":"","info_sex":"","info_city":"","info_age":0,"price":-1,"absent":-1,"item":"unknown","step":-1,"num":"unknown","id":"unknown","type":"unknown","style":"unknown","previous_last_login_time":-1,"date":1599623705,"last_level":-1}


Не могу понять, что именно в ней не так с reg_date или чем-либо еще.
это первый раз вы пытаетесь или раньше работало, работало и вдруг?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
по идее есть лишние поля и нужен --input_format_skip_unknown_fields=1
источник

D

Dj in ClickHouse не тормозит
всем доброго дня,
имеем вот такой неимоверный multi-if их 100500 условий.
https://i.imgur.com/7frdGRm.png

КХ тормозит и жрет CPU (видимо потому, что делает в параллели все проверки).
без этого же multiIf работает в 16-17 раз быстрее...
как такое можно оптимизировать?
источник

V

Vladislav in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
это первый раз вы пытаетесь или раньше работало, работало и вдруг?
Раньше скриптом закидывалось напрямую в кликхаус, передалал, чтобы скрипт заливал данные в кафка, а кх уже из кафки. Еще есть 3 других топика, там и поток выше и данных больше и все нормально, а здесь такая ошибка.
источник