E
порпобуй C# с Clickhouse.Client, он по 300-500К записей в один пакет вжух! оч быстро, только успевай подносить, вангую что у тебя MSSQL упреца в диск
Полюбопытствую - а через odbc со стороны кх нельзя обратиться к мускулу?
Size: a a a
2020 August 21
DC
Полюбопытствую - а через odbc со стороны кх нельзя обратиться к мускулу?
odbc медленный, особенно через бридж
E
odbc медленный, особенно через бридж
Спасибо
AK
порпобуй C# с Clickhouse.Client, он по 300-500К записей в один пакет вжух! оч быстро, только успевай подносить, вангую что у тебя MSSQL упреца в диск
Отмечу себе, спасибо. Но, кстати, скорее таки МС в проц упрется) При селекте из колумнстора всегда проц первым полки достигал)
GR
Подскажите пожалуйста, можно ли как то получить информацию о схеме таблицы? Интересует какие колонки есть в таблице.
K
Подскажите пожалуйста, можно ли как то получить информацию о схеме таблицы? Интересует какие колонки есть в таблице.
select * from system.columns
D
Полюбопытствую - а через odbc со стороны кх нельзя обратиться к мускулу?
к сожалению с odbc никакого опыта у меня нет
D
а вот с вышеуказанной комбинацией - очень доволен был
DD
select _shard_num from distributed_tableо это очень ценно спасибо. Суть в том чтобы собрать данные со всех шардов уникализировать и выбрать только те, которые которые изначальному шарду. Раньше это решалось через фильтрацию по hostName(), но после обновления с 1.1.* подзапросы стали уходить на реплики и фильтрация не работает теперь. Хочу на shard_num переделать, но пока не получается. Есть может вариант по проще?
DC
о это очень ценно спасибо. Суть в том чтобы собрать данные со всех шардов уникализировать и выбрать только те, которые которые изначальному шарду. Раньше это решалось через фильтрацию по hostName(), но после обновления с 1.1.* подзапросы стали уходить на реплики и фильтрация не работает теперь. Хочу на shard_num переделать, но пока не получается. Есть может вариант по проще?
я ничего не понял. Что за странную проблему вы решаете?
system.cluster is_local теперь по другому выводится
system.cluster is_local теперь по другому выводится
2020 August 22
S
Там суть вот в чем. Есть машина с MSSQL, и с нее надо залить 40млрд строк в КХ. Места, где расположить csv такого размера, нет. Я прямо на машине с MSSQL запустил скрипт на питоне, который через pyodbc берет 1м строк из MS, и этот же объект передает в execute СН драйвера.
сделайте проще
почитайте
https://docs.microsoft.com/en-us/sql/relational-databases/import-export/import-and-export-bulk-data-by-using-the-bcp-utility-sql-server?view=sql-server-ver15
потом запустите
почитайте
https://docs.microsoft.com/en-us/sql/relational-databases/import-export/import-and-export-bulk-data-by-using-the-bcp-utility-sql-server?view=sql-server-ver15
потом запустите
bcp ... | curl --data-raw @- -X POST "http://clickhouse_external_ip:8123/?query=INSERT INTO table ... FORMAT TSV"
S
curl для винды можно через cygwin поставить
S
Там суть вот в чем. Есть машина с MSSQL, и с нее надо залить 40млрд строк в КХ. Места, где расположить csv такого размера, нет. Я прямо на машине с MSSQL запустил скрипт на питоне, который через pyodbc берет 1м строк из MS, и этот же объект передает в execute СН драйвера.
ошибся немного bcp не умеет из коробки stdout
ну можно тогда bcp поставить на linux
https://docs.microsoft.com/en-us/sql/linux/sql-server-linux-setup-tools?view=sql-server-ver15#ubuntu
и через mkfifo
сделать буфер
из которого потом через clickhouse-client
просто читать
ну можно тогда bcp поставить на linux
https://docs.microsoft.com/en-us/sql/linux/sql-server-linux-setup-tools?view=sql-server-ver15#ubuntu
и через mkfifo
сделать буфер
из которого потом через clickhouse-client
просто читать
S
Там суть вот в чем. Есть машина с MSSQL, и с нее надо залить 40млрд строк в КХ. Места, где расположить csv такого размера, нет. Я прямо на машине с MSSQL запустил скрипт на питоне, который через pyodbc берет 1м строк из MS, и этот же объект передает в execute СН драйвера.
ну и /dev/stdout можно в bcp Для linux использовать
AB
/report
D
curl для винды можно через cygwin поставить
Или через choco
D
DD
типа JSONEachRow но валидный json ?
может custom форматы такое позволяют, и думаю не сложно формат добавить, типа JSONEachRowValid
может custom форматы такое позволяют, и думаю не сложно формат добавить, типа JSONEachRowValid
да, ведь это как-бы типичный сценарий. взять джейсон с БД отдать на юай. тут дело даже не в валидности, а в том, что кликхаус пихает свои поля от которых нельзя избавится
DT
Dmitriy D
да, ведь это как-бы типичный сценарий. взять джейсон с БД отдать на юай. тут дело даже не в валидности, а в том, что кликхаус пихает свои поля от которых нельзя избавится
Я на самом деле знаю не очень много бд, которые умеют отдавать данные в готовом JSON
DD
та ладно. уже даже постгрес умеет