DC
Size: a a a
2021 March 03
A
Смотрел неоднократно. Пусть человек попробует сделать прототип на КХ. Вполне возможно, что получится в 20 раз меньше использовать ресурсов, чем с использованием хадупа.
A
Добрый, копаюсь уже несколько дней и не могу понять в чем причина
(version 20.3.15.133 (official build))
при инсертах в некоторые шарды (replicatedmergetree)
получаю
Пересоздание столбца column_name не помогает (alter drop/add column)
При этом столбец есть, и на диске и в селектах, те инсерт работает иногда... раз селект показывает данные на этот столбец напрямую из реплики.
Куда копать уже и не знаю. Видел похожие проблемы в github issues и тут всплывали, но там речь шла, в основном, о SELECT, а у меня INSERT.
(version 20.3.15.133 (official build))
при инсертах в некоторые шарды (replicatedmergetree)
получаю
2021.03.03 19:38:25.807817 [ 1931224 ] {35826e4f-7188-4927-8e05-7045aa7c47b8} <Error> executeQuery: Code: 10, e.displayText() = DB::Exception: Not found column column_name in block. There are only columns:.... in query: INSERT INTO table_name ......
там 150+ столбцов.Пересоздание столбца column_name не помогает (alter drop/add column)
При этом столбец есть, и на диске и в селектах, те инсерт работает иногда... раз селект показывает данные на этот столбец напрямую из реплики.
Куда копать уже и не знаю. Видел похожие проблемы в github issues и тут всплывали, но там речь шла, в основном, о SELECT, а у меня INSERT.
AP
Ну вообще есть экспериментальная поддержка s3 как одного из дисков в storage policy, кто то вроде даже уже пользуется этим
Спасибо, посмотрел код. Там идет эмуляция файла средствами С3.
AP
Добрый, копаюсь уже несколько дней и не могу понять в чем причина
(version 20.3.15.133 (official build))
при инсертах в некоторые шарды (replicatedmergetree)
получаю
Пересоздание столбца column_name не помогает (alter drop/add column)
При этом столбец есть, и на диске и в селектах, те инсерт работает иногда... раз селект показывает данные на этот столбец напрямую из реплики.
Куда копать уже и не знаю. Видел похожие проблемы в github issues и тут всплывали, но там речь шла, в основном, о SELECT, а у меня INSERT.
(version 20.3.15.133 (official build))
при инсертах в некоторые шарды (replicatedmergetree)
получаю
2021.03.03 19:38:25.807817 [ 1931224 ] {35826e4f-7188-4927-8e05-7045aa7c47b8} <Error> executeQuery: Code: 10, e.displayText() = DB::Exception: Not found column column_name in block. There are only columns:.... in query: INSERT INTO table_name ......
там 150+ столбцов.Пересоздание столбца column_name не помогает (alter drop/add column)
При этом столбец есть, и на диске и в селектах, те инсерт работает иногда... раз селект показывает данные на этот столбец напрямую из реплики.
Куда копать уже и не знаю. Видел похожие проблемы в github issues и тут всплывали, но там речь шла, в основном, о SELECT, а у меня INSERT.
Может этой колонки нету в некоторых репликах?
A
Al. P.
Может этой колонки нету в некоторых репликах?
селекты работают на все реплики всех шардов, просто на тех репликах, где ошибки, записей несколько меньше
A
что логично, не все инсерты отрабатывают
A
причем записей меньше именно тех, где в колонке что-то да есть. там где пусто (String Default '') там приблизительно поровну, те на ошибку, как будто, как то влияет содержимое этого столбца в инсерте (хотя это косвенно как то)
A
Добрый, копаюсь уже несколько дней и не могу понять в чем причина
(version 20.3.15.133 (official build))
при инсертах в некоторые шарды (replicatedmergetree)
получаю
Пересоздание столбца column_name не помогает (alter drop/add column)
При этом столбец есть, и на диске и в селектах, те инсерт работает иногда... раз селект показывает данные на этот столбец напрямую из реплики.
Куда копать уже и не знаю. Видел похожие проблемы в github issues и тут всплывали, но там речь шла, в основном, о SELECT, а у меня INSERT.
(version 20.3.15.133 (official build))
при инсертах в некоторые шарды (replicatedmergetree)
получаю
2021.03.03 19:38:25.807817 [ 1931224 ] {35826e4f-7188-4927-8e05-7045aa7c47b8} <Error> executeQuery: Code: 10, e.displayText() = DB::Exception: Not found column column_name in block. There are only columns:.... in query: INSERT INTO table_name ......
там 150+ столбцов.Пересоздание столбца column_name не помогает (alter drop/add column)
При этом столбец есть, и на диске и в селектах, те инсерт работает иногда... раз селект показывает данные на этот столбец напрямую из реплики.
Куда копать уже и не знаю. Видел похожие проблемы в github issues и тут всплывали, но там речь шла, в основном, о SELECT, а у меня INSERT.
В каком формате данные вставляете?
A
В каком формате данные вставляете?
приложение голанг пачками по 1000 строк (тип проблемного столбца String) - драйвер https://github.com/ClickHouse/clickhouse-go. Какой именно это формат.... что-то затрудняюсь ответить
A
приложение голанг пачками по 1000 строк (тип проблемного столбца String) - драйвер https://github.com/ClickHouse/clickhouse-go. Какой именно это формат.... что-то затрудняюсь ответить
Если я правильно помню, то у меня была похожая проблема при использовании INSERT INTO ... FORMAT CSVWithNames. Проблему удалось решить, используя INSERT INTO ... FORMAT TabSeparatedWithNames
A
приложение голанг пачками по 1000 строк (тип проблемного столбца String) - драйвер https://github.com/ClickHouse/clickhouse-go. Какой именно это формат.... что-то затрудняюсь ответить
2021 March 04
D
всем привет, пытаюсь вычесть 2 значения в разных колонках, получается аномальные значения
D
pk
10185+615=10800
D
10185+615=10800
откуда у меня берется цифра в 10000 при вычитании
D
D
time - endtime
D
как это перевести в секунды
pk
время не то чем кажется