Size: a a a

ClickHouse не тормозит

2021 March 06

FL

Fabio Lotti in ClickHouse не тормозит
maybe python2 pip
источник

А

А in ClickHouse не тормозит
Dj
Ща, а на windows odbc клиентом проьовали запрос кидать? Что дает?
Не понял что написали
источник

00

0ri0n 0ri0n in ClickHouse не тормозит
Всем доброго!
на какойто из конференций слышал, что у кликхауса есть ограничения на количество одновременных insert в одну еденицу времени. Что Clickhouse может вставлять большие данны, но плохо обрабатывает вствку много мелких, можно где то про это прочитать?
источник

e

er@essbase.ru in ClickHouse не тормозит
0ri0n 0ri0n
Всем доброго!
на какойто из конференций слышал, что у кликхауса есть ограничения на количество одновременных insert в одну еденицу времени. Что Clickhouse может вставлять большие данны, но плохо обрабатывает вствку много мелких, можно где то про это прочитать?
В документации?)
источник

00

0ri0n 0ri0n in ClickHouse не тормозит
er@essbase.ru
В документации?)
Было бы супер. если знать как правильно искать.
источник

P

Pavel in ClickHouse не тормозит
0ri0n 0ri0n
Было бы супер. если знать как правильно искать.
Вот заодно потренируетесь :)
источник

00

0ri0n 0ri0n in ClickHouse не тормозит
Pavel
Вот заодно потренируетесь :)
Мило
источник

L

Lamobot in ClickHouse не тормозит
0ri0n 0ri0n
Было бы супер. если знать как правильно искать.
источник

00

0ri0n 0ri0n in ClickHouse не тормозит
Спасибо!
источник

D

Dj in ClickHouse не тормозит
А
Не понял что написали
windows нормальных не юникод клиентов не знаю
odbctest есть но он кривой. Поэтому можете так попробовать:
PS C:\Users\dj> $connectstring = "DSN=chDsn"
PS C:\Users\dj> $sql = @'
>> select * from testStr
>> '@
PS C:\Users\dj> $conn = New-Object System.Data.Odbc.OdbcConnection($connectstring)
PS C:\Users\dj> $conn.open()
PS C:\Users\dj> $cmd = New-Object system.Data.Odbc.OdbcCommand($sql,$conn)
PS C:\Users\dj> $da = New-Object system.Data.Odbc.OdbcDataAdapter($cmd)
PS C:\Users\dj> $dt = New-Object system.Data.datatable
PS C:\Users\dj> $null = $da.fill($dt)
PS C:\Users\dj> $conn.close()
PS C:\Users\dj> $dt

A       len_A
-       -----
вйцвцйв    14
value       5


если использовать анси драйвер вернется это.
A              len_A
-              -----
вйцвцйв    14
value              5


проверьте, может вы просто не тот драйвер пользуете...
источник

OM

Oleksii Mylotskyi in ClickHouse не тормозит
Ребята, подскажите, у меня есть RAW таблица в которую влетают данные и мне из нее надо строить агрегатную таблицу по Минутам, Часам, Дням, Месяцам, и я вот не могу решить, как лучше сделать. Повесить 4 MV для создания minute,hour,days,month, на RAW таблицу, или сделать так чтобы только минутные строились с RAW таблицы, а далее MV чтобы часовые из минутных, дневные из часовых, и месячные из дневных. Подскажите пожалуйста есть какая-то разница с точки зрения производительности выгода в одном или в другом подходе ?
источник

А

А in ClickHouse не тормозит
Dj
windows нормальных не юникод клиентов не знаю
odbctest есть но он кривой. Поэтому можете так попробовать:
PS C:\Users\dj> $connectstring = "DSN=chDsn"
PS C:\Users\dj> $sql = @'
>> select * from testStr
>> '@
PS C:\Users\dj> $conn = New-Object System.Data.Odbc.OdbcConnection($connectstring)
PS C:\Users\dj> $conn.open()
PS C:\Users\dj> $cmd = New-Object system.Data.Odbc.OdbcCommand($sql,$conn)
PS C:\Users\dj> $da = New-Object system.Data.Odbc.OdbcDataAdapter($cmd)
PS C:\Users\dj> $dt = New-Object system.Data.datatable
PS C:\Users\dj> $null = $da.fill($dt)
PS C:\Users\dj> $conn.close()
PS C:\Users\dj> $dt

A       len_A
-       -----
вйцвцйв    14
value       5


если использовать анси драйвер вернется это.
A              len_A
-              -----
вйцвцйв    14
value              5


проверьте, может вы просто не тот драйвер пользуете...
Спасибо, попробую. Я проверял оба драйвера и юникод и анси
источник

D

Dj in ClickHouse не тормозит
А
Спасибо, попробую. Я проверял оба драйвера и юникод и анси
там 4 варианта
ansi app-unicode driver
unicode app - unicode driver
ansi app - ansi driver
unicode app - ansi driver

поэтому удачи =)
источник

АЗ

Александр Загребельн... in ClickHouse не тормозит
Добрый день. В новых версиях перестал работать функционал, который
использовал для создания бэкапов таблиц.
В версии 20.12.5.14 работает. В версиях 21.2.2.8 и 21.2.5.5 не работает.
Исполнение потокового запроса приводит к переполнению памяти
Code: 241, e.displayText() = DB::Exception: Memory limit (for query) exceeded: would use 9.32 GiB (attempt to allocate chunk of 8388608 bytes), maximum: 9.31 GiB: While executing SinkToOutputStream (version 21.2.5.5 (official build))
После отката к версии 20.12.5.14 всё снова работает.

Запросы:
--------
CREATE TABLE IF NOT EXISTS work.bcp AS work.itz
 ENGINE=File(TabSeparatedWithNamesAndTypes ,'backup\bcp.tsv.gz','gz')
;
TRUNCATE TABLE work.bcp
;
INSERT INTO work.bcp
SELECT
 *
FROM
 work.itz
--------
Последний запрос и "переполняет память". Установка параметра max_memory_usage всего лишь
отодвигает, но не устраняет проблему. Большие таблицы по-прежнему не удаётся выгрузить в
файл. Пробовал с различными кодеками (gz, xz, zstd), результат не меняется.
источник

PT

Pavel Tarasov in ClickHouse не тормозит
Всем привет. А что в altinity cloud доступ дают тока по звонку?))
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Александр Загребельный
Добрый день. В новых версиях перестал работать функционал, который
использовал для создания бэкапов таблиц.
В версии 20.12.5.14 работает. В версиях 21.2.2.8 и 21.2.5.5 не работает.
Исполнение потокового запроса приводит к переполнению памяти
Code: 241, e.displayText() = DB::Exception: Memory limit (for query) exceeded: would use 9.32 GiB (attempt to allocate chunk of 8388608 bytes), maximum: 9.31 GiB: While executing SinkToOutputStream (version 21.2.5.5 (official build))
После отката к версии 20.12.5.14 всё снова работает.

Запросы:
--------
CREATE TABLE IF NOT EXISTS work.bcp AS work.itz
 ENGINE=File(TabSeparatedWithNamesAndTypes ,'backup\bcp.tsv.gz','gz')
;
TRUNCATE TABLE work.bcp
;
INSERT INTO work.bcp
SELECT
 *
FROM
 work.itz
--------
Последний запрос и "переполняет память". Установка параметра max_memory_usage всего лишь
отодвигает, но не устраняет проблему. Большие таблицы по-прежнему не удаётся выгрузить в
файл. Пробовал с различными кодеками (gz, xz, zstd), результат не меняется.
а сколько полей в таблице?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Pavel Tarasov
Всем привет. А что в altinity cloud доступ дают тока по звонку?))
На данный момент да,
сейчас разрабатывается возможность самостоятельно регистрировать. (1-2 квартал)
источник

PT

Pavel Tarasov in ClickHouse не тормозит
Dmitry Titov
На данный момент да,
сейчас разрабатывается возможность самостоятельно регистрировать. (1-2 квартал)
Потестил на выходных)
источник

PT

Pavel Tarasov in ClickHouse не тормозит
ок спасибо
источник

OM

Oleksii Mylotskyi in ClickHouse не тормозит
Oleksii Mylotskyi
Ребята, подскажите, у меня есть RAW таблица в которую влетают данные и мне из нее надо строить агрегатную таблицу по Минутам, Часам, Дням, Месяцам, и я вот не могу решить, как лучше сделать. Повесить 4 MV для создания minute,hour,days,month, на RAW таблицу, или сделать так чтобы только минутные строились с RAW таблицы, а далее MV чтобы часовые из минутных, дневные из часовых, и месячные из дневных. Подскажите пожалуйста есть какая-то разница с точки зрения производительности выгода в одном или в другом подходе ?
Что думаете ?
источник