AT
из hdfs таблички в mergetree
Size: a a a
2020 May 24
MG
Спасибо, попробую.
AT
Я пришел к тому, что выкачиваю паркеты из hdfs и лью кликхаус клиентом, но там сложности с распаковкой паркетов. Поэтому параллельно пробую jdbc.
ну кликхаус клиентом вроде кошерно вполне..
MG
Al T
ну кликхаус клиентом вроде кошерно вполне..
Да, но приходится в один поток делать :(
AT
да вроде как клик умел паркет в несколько тредов лить если я не путаю ниче... надо посмотреть будет... а может и нет... но несколько файлов-то сразу можно пускать
NV
Да, но приходится в один поток делать :(
Можно ещё украсть подход clickhouse-copier. Создаём новую таблицу, льем батч, потом alter table move partition из временной куда надо. Повторяем.
NV
Если что-то сломалось по середине то дропаем временную таблицу и создаём заново
A
Al T
да вроде как клик умел паркет в несколько тредов лить если я не путаю ниче... надо посмотреть будет... а может и нет... но несколько файлов-то сразу можно пускать
Не знаю на счет количества потоков наверняка, но желает это он очень быстро, у нас 100-200 мб/с было при заливу. так что я думаю там многопоточно
DC
можно еще --max_insert_threads=16 чтобы insert select вставлял многопоточно
AK
Добрый день. В последних версиях Clickhouse появилась поддержка микросекунд в типе данных Datetime64. Хотелось в поле этого типа записать текущее время сервера базы, но функция now() возвращает время с точностью до секунды. Аналога функции now() с микро или миллисекундной точноcтью нет. Что делать?
Формировать вемя на клиентах не вариант - на них время можер различаться...
Формировать вемя на клиентах не вариант - на них время можер различаться...
SC
Добрый день. В последних версиях Clickhouse появилась поддержка микросекунд в типе данных Datetime64. Хотелось в поле этого типа записать текущее время сервера базы, но функция now() возвращает время с точностью до секунды. Аналога функции now() с микро или миллисекундной точноcтью нет. Что делать?
Формировать вемя на клиентах не вариант - на них время можер различаться...
Формировать вемя на клиентах не вариант - на них время можер различаться...
now64()DC
SELECT now64(6)
┌───────────────────now64(6)─┐
│ 2020-05-24 15:38:03.213655 │
└────────────────────────────┘
D
Есть способ установить уникальный ключ на таблицу, чтобы записи с уже существующим значением не вставлялись? Я думал на PRIMARY KEY, но судя по доке, это другое.
Можно все лить в одну таблицу с партиционированием в час
затем по крону раз в час брать все прошлые партиции с группировкой для отсечения дубликатов и заливать в нормальную таблицу, после чего дропать парты
затем по крону раз в час брать все прошлые партиции с группировкой для отсечения дубликатов и заливать в нормальную таблицу, после чего дропать парты
AK
SELECT now64(6)
┌───────────────────now64(6)─┐
│ 2020-05-24 15:38:03.213655 │
└────────────────────────────┘
Огромное спасибо!
В свежей документации я эту фунцию не нашел...
В свежей документации я эту фунцию не нашел...
DC
Огромное спасибо!
В свежей документации я эту фунцию не нашел...
В свежей документации я эту фунцию не нашел...
не успели документировать, дока половину КХ покрывает
AK
не успели документировать, дока половину КХ покрывает
Успехов в проекте и в документировании!
DC
Успехов в проекте и в документировании!
ну я тут ни при чем. Я не настоящий сварщик.
AT
лесоруб
2020 May 25
A
Вечер добрый! Как отобрать у пользователя default все разрешения?
пишет ошибку
Cannot update User
revoke all on *.* from default;
пишет ошибку
Cannot update User
default in users.xml because this storage is readonly (version 20.4.3.16 (official build))SC
он определён через users.xml, там и надо у него полномочия отбирать