Size: a a a

ClickHouse не тормозит

2021 March 14

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Александр Филиппенко
нашёл баг в csv парсере, куда лучше отписать? Issue на Гитхабе?
да на гитхаб, в какой версии и что за баг?
источник

АФ

Александр Филиппенко... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
да на гитхаб, в какой версии и что за баг?
версия docker:latest, видимо 21.3.2
Суть в следующем:
"japan-donor.ru","ns1.baz-on.ru,ns2.baz-on.ru","","","","","","","","","","2019-05-24"
"jdonare.ru","redirect=_spf.mail.ru.\",redirect=_spf.mail.ru.\",redirect=_spf.mail.ru.\",ns1.domdomenov.com,ns2.domdomenov.com,redirect=_spf.mail.ru.\",redirect=_spf.mail.ru.\",redirect=_spf.mail.ru.\",redirect=_spf.mail.ru.\"","212.118.48.121","RU","","","","","","","","2019-05-24"
"jhk-green-park-rostov.ru","ns2.expired.reg.ru,ns1.expired.reg.ru","","","","","","","","","","2019-05-24"
1 и 3 строка парсятся нормально, во 2-й строке, во 2-й колонке не учитывается экранирование \" соответственно он начинает резать на строки значения оттуда, ячейки переполняются, и загрузка падает с ошибкой типа ожидалась следующая строка, а встретились двойные кавычки
источник

מ

מיכאל in ClickHouse не тормозит
Доброго дня.
подскажите можно ли увеличить max_concurrent_queries?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Александр Филиппенко
версия docker:latest, видимо 21.3.2
Суть в следующем:
"japan-donor.ru","ns1.baz-on.ru,ns2.baz-on.ru","","","","","","","","","","2019-05-24"
"jdonare.ru","redirect=_spf.mail.ru.\",redirect=_spf.mail.ru.\",redirect=_spf.mail.ru.\",ns1.domdomenov.com,ns2.domdomenov.com,redirect=_spf.mail.ru.\",redirect=_spf.mail.ru.\",redirect=_spf.mail.ru.\",redirect=_spf.mail.ru.\"","212.118.48.121","RU","","","","","","","","2019-05-24"
"jhk-green-park-rostov.ru","ns2.expired.reg.ru,ns1.expired.reg.ru","","","","","","","","","","2019-05-24"
1 и 3 строка парсятся нормально, во 2-й строке, во 2-й колонке не учитывается экранирование \" соответственно он начинает резать на строки значения оттуда, ячейки переполняются, и загрузка падает с ошибкой типа ожидалась следующая строка, а встретились двойные кавычки
CH не поддерживает такое экранирование \" -- оно нестандартное.
по стандарту CSV экранируется "" удвоением
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
מיכאל
Доброго дня.
подскажите можно ли увеличить max_concurrent_queries?
можно, но не стоит
источник

АФ

Александр Филиппенко... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
CH не поддерживает такое экранирование \" -- оно нестандартное.
по стандарту CSV экранируется "" удвоением
то есть надо заменить в файле все вхождения \" на "" ?
источник

מ

מיכאל in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
можно, но не стоит
У меня просто не подхватывает параметр, видно что конфиг перечитывает, но как было 100 так и есть.
источник

מ

מיכאל in ClickHouse не тормозит
А почему не стоит?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Александр Филиппенко
то есть надо заменить в файле все вхождения \" на "" ?
ну и вопрос
вы чем файл генерите?
источник

АФ

Александр Филиппенко... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
ну и вопрос
вы чем файл генерите?
это база из интернета
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
מיכאל
У меня просто не подхватывает параметр, видно что конфиг перечитывает, но как было 100 так и есть.
нужен рестарт КХ
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Александр Филиппенко
это база из интернета
тогда да, либо заменить, либо найти какой-то конвертер CSV например в TSV
источник

АФ

Александр Филиппенко... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
тогда да, либо заменить, либо найти какой-то конвертер CSV например в TSV
понял, спасибо
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
מיכאל
А почему не стоит?
не стоит потому что если 100 вам не хватает, то либо у вас 128 кор CPU , либо вы неправильно все сделали.
источник

S

Slawka in ClickHouse не тормозит
Подскажите есть показания счетчика каждую минуту
время, значение
как получить среднее отклонение за последние 5 мин
источник

YF

Yuri Fal in ClickHouse не тормозит
Konstantin Sevastianov
через Tableau custom sql - пишу SELECT ... FROM table SETTINGS max_memory_usage = xxx
можно в .TDC файл добавить еще строку кастомизации, а в ней прописать:  

odbc-connect-string-extras='Max_memory_usage=80646921216'
источник

KS

Konstantin Sevastian... in ClickHouse не тормозит
Yuri Fal
можно в .TDC файл добавить еще строку кастомизации, а в ней прописать:  

odbc-connect-string-extras='Max_memory_usage=80646921216'
Попробую, спасибо
источник

S

Sulaymon in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
order by id, time desc limit 1 by id

или argMax( status, time)
оказывается это не очень подходит в одном use case'e
источник

S

Sulaymon in ClickHouse не тормозит
есть истории изменений
источник

S

Sulaymon in ClickHouse не тормозит
делаю селект:
select orderId
from test
where metricType = 'status'and metricValue = 3
group by orderId, itemId, eventDateTime
order by itemId, eventDateTime desc
limit 1 by itemId;
в итоге выводит orderId = 1
вместо пустого ответа
источник