Телеграмм чат группы clickhouse_ru страница 8074

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4217 membersпожаловаться на группу

2020 August 21

K

Kostya in ClickHouse не тормозит

это ожидаемый результат, "питоновский объект" приходится сериализовать и передавать по сети
clickhouse-client из питона + CSV это всегда будет быстрее чем питон

Это будет быстрее, если в CSV уже сериализовано. Если же надо отправить в ClickHouse объекты которые получены вычислениями, то это ещё вопрос.

источник

17:58пожаловаться #1

OD

Oleksandr Diachenko in ClickHouse не тормозит

или так если в 32 бита лезет

  select
Table2.x,
ale_locations.EventTimestamp 
sta_eth_mac
from default.ale_locations
asof join (select
            distinct
            toUInt32(EventTimestamp + 2592000) as x,
            sta_eth_mac
            from default.ale_locations
          ) as Table2 on ale_locations.sta_eth_mac = Table2.sta_eth_mac
                     and Table2.x >= ale_locations.EventTimestamp

работает!
спасибо!

источник

18:01пожаловаться #2

DC

Denny Crane (I don't... in ClickHouse не тормозит

Это будет быстрее, если в CSV уже сериализовано. Если же надо отправить в ClickHouse объекты которые получены вычислениями, то это ещё вопрос.

>потом отдельным параметром питоновский объект на 1М строк

а там сначала рендерится все 1М в values или стримается?
может лучше пачками по 10тыс.?

источник

18:04пожаловаться #3

K

Kostya in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

>потом отдельным параметром питоновский объект на 1М строк

а там сначала рендерится все 1М в values или стримается?
может лучше пачками по 10тыс.?

там чанками заливается по native протоколу. основной смысл в том, что запаковать кучу int-ов с помощью struct.pack быстрее, чем записать их же в CSV и послать по http

источник

18:08пожаловаться #4

DC

Denny Crane (I don't... in ClickHouse не тормозит

там чанками заливается по native протоколу. основной смысл в том, что запаковать кучу int-ов с помощью struct.pack быстрее, чем записать их же в CSV и послать по http

да я понимаю, конечно native эффективнее чем рендеринг и парсинг строк. Я просто интересуюсь стримается или нет

источник

18:10пожаловаться #5

K

Kostya in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

да я понимаю, конечно native эффективнее чем рендеринг и парсинг строк. Я просто интересуюсь стримается или нет

не должно. и размер чанка можно тюнить

источник

18:10пожаловаться #6

DC

Denny Crane (I don't... in ClickHouse не тормозит

в общем топик-стартер делает странное наверно и проблема или в винде или в сети

источник

18:11пожаловаться #7

K

Kostya in ClickHouse не тормозит

да, судя по всему там с помощью питона заливается csv с диска. это антиюзкейс для пакета. clickhouse-client в этом плане вне конкуренции. вопрос только в винде

источник

18:13пожаловаться #8

AK

Andrii Kakoichenko in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

в общем топик-стартер делает странное наверно и проблема или в винде или в сети

Там суть вот в чем. Есть машина с MSSQL, и с нее надо залить 40млрд строк в КХ. Места, где расположить csv такого размера, нет. Я прямо на машине с MSSQL запустил скрипт на питоне, который через pyodbc берет 1м строк из MS, и этот же объект передает в execute СН драйвера.

источник

18:49пожаловаться #9

AK

Andrii Kakoichenko in ClickHouse не тормозит

csv сформировал чтобы протестировать скорость clickhouse-client

источник

18:50пожаловаться #10

AK

Andrii Kakoichenko in ClickHouse не тормозит

Получилось достичь скорости clickhouse-client, запустив много процессов параллельно, но это ряд неудобств даёт

источник

18:52пожаловаться #11

ТМ

Тахир Мусин... in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

Вроде https не работает, только http

Спасибо. В остальном директива верно сформирована?

источник

18:52пожаловаться #12

DC

Denny Crane (I don't... in ClickHouse не тормозит

Andrii Kakoichenko

Там суть вот в чем. Есть машина с MSSQL, и с нее надо залить 40млрд строк в КХ. Места, где расположить csv такого размера, нет. Я прямо на машине с MSSQL запустил скрипт на питоне, который через pyodbc берет 1м строк из MS, и этот же объект передает в execute СН драйвера.

так проблема скорее всего в pyodbc , от тормозной до невозможности

источник

18:56пожаловаться #13

AK

Andrii Kakoichenko in ClickHouse не тормозит

Замер шёл только на операции вставки. То есть, сначала делался fetchall, потом коннект к КХ, потом запускался таймер

источник

18:56пожаловаться #14

K

Kostya in ClickHouse не тормозит

Andrii Kakoichenko

Замер шёл только на операции вставки. То есть, сначала делался fetchall, потом коннект к КХ, потом запускался таймер

можете написать в личку, если хочется именно питоном переливать. я разраб clickhouse-driver, посмотрим

источник

19:01пожаловаться #15

AK

Andrii Kakoichenko in ClickHouse не тормозит

можете написать в личку, если хочется именно питоном переливать. я разраб clickhouse-driver, посмотрим

Спасибо, пишу

источник

19:01пожаловаться #16

BB

Bral Bral in ClickHouse не тормозит

Andrii Kakoichenko

Там суть вот в чем. Есть машина с MSSQL, и с нее надо залить 40млрд строк в КХ. Места, где расположить csv такого размера, нет. Я прямо на машине с MSSQL запустил скрипт на питоне, который через pyodbc берет 1м строк из MS, и этот же объект передает в execute СН драйвера.

Места вообще что ли нет ? Не поверю , что таблица с таким количеством строк не секционирована. Если уж питон , выгружайте пандасом по секции , можно сразу и сжимать, например gzip.и опять же питоном отправлять по http на кликхаус , с указанием в заголовке о компрессии .

источник

19:02пожаловаться #17

BB

Bral Bral in ClickHouse не тормозит

Можете вообще по секция выгружать через bcp,скорее всего это будет даже быстрее .

источник

19:08пожаловаться #18

AK

Andrii Kakoichenko in ClickHouse не тормозит

Места вообще что ли нет ? Не поверю , что таблица с таким количеством строк не секционирована. Если уж питон , выгружайте пандасом по секции , можно сразу и сжимать, например gzip.и опять же питоном отправлять по http на кликхаус , с указанием в заголовке о компрессии .

Идея сжимать gzip и отправлять по http интересная. Спасибо. Если не выйдет выжать перфоманс из драйвера, то так и сделаю

источник

19:19пожаловаться #19

D

Denisio in ClickHouse не тормозит

Andrii Kakoichenko

Там суть вот в чем. Есть машина с MSSQL, и с нее надо залить 40млрд строк в КХ. Места, где расположить csv такого размера, нет. Я прямо на машине с MSSQL запустил скрипт на питоне, который через pyodbc берет 1м строк из MS, и этот же объект передает в execute СН драйвера.

порпобуй C# с Clickhouse.Client, он по 300-500К записей в один пакет вжух! оч быстро, только успевай подносить, вангую что у тебя MSSQL упреца в диск

источник

19:22пожаловаться #20