Телеграмм чат группы clickhouse_ru страница 8067

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4212 membersпожаловаться на группу

2020 August 21

LU

Lars Ulrich in ClickHouse не тормозит

Всем привет. Подскажите, плиз, а есть ли какая-то возможность указать дефолтное значение одной колонки при инстерте из csv? То есть в таблице пять полей, а в файле - 4, и вот например, название файла писать в пятую колонку таблицы, которой в файле нет, ну или же руками просто значение передать

источник

11:00пожаловаться #1

LU

Lars Ulrich in ClickHouse не тормозит

Всем привет. Подскажите, плиз, а есть ли какая-то возможность указать дефолтное значение одной колонки при инстерте из csv? То есть в таблице пять полей, а в файле - 4, и вот например, название файла писать в пятую колонку таблицы, которой в файле нет, ну или же руками просто значение передать

 CREATE TABLE Data.Imports
(
    `Time` DateTime,    
    `Count` Int32,
    `Sum` Float32,
    `Average` Float32,    
   `Name` LowCardinality(String),
)
ENGINE = MergeTree()
PARTITION BY toYYYYMM(Time)
ORDER BY (Time, Name)
SETTINGS index_granularity = 8192

Вот такая таблица, в файле нет поля Name. Добавить его не проблема, конечно, но не хотелось бы морочить голову

источник

11:10пожаловаться #2

LU

Lars Ulrich in ClickHouse не тормозит

И раз уж сюда пришел, то хочу спросить на счет LowCardinality. С какого количества уникальных строк или соотношения к общему количству записей кардинальность начинает быть уже high?

источник

11:13пожаловаться #3

K

Kos in ClickHouse не тормозит

добавь значение default для 5 поля.

источник

11:13пожаловаться #4

LU

Lars Ulrich in ClickHouse не тормозит

Kos

добавь значение default для 5 поля.

так оно ж у меня на каждом инсерте разное может быть

источник

11:13пожаловаться #5

ТМ

Тахир Мусин... in ClickHouse не тормозит

Дмитрий Бережнов

Путь к создаваемому бакету на s3 как выглядит? Есть там что-то кроме a-z0-9?

А почему к создаваемому? Бакет создан.
Путь примерно такой: https://s3.us-west-2.amazonaws.com/bucket_name/file_name.csv',

источник

11:22пожаловаться #6

AK

Anton Khokhrin in ClickHouse не тормозит

так оно ж у меня на каждом инсерте разное может быть

Select *, myfilename from file()

источник

11:24пожаловаться #7

LU

Lars Ulrich in ClickHouse не тормозит

Select *, myfilename from file()

о, похоже, что что надо, спасибо!

источник

11:25пожаловаться #8

LU

Lars Ulrich in ClickHouse не тормозит

а еще в файле дата в таком формате 14/12/18 13:43 подскажите, можно ли ее на инсерте как-то разруливать?

источник

11:27пожаловаться #9

LU

Lars Ulrich in ClickHouse не тормозит

о, похоже, что что надо, спасибо!

к сожалению не то, я хотел дать аналитикам инсертить через веб интерфейс, а файл же должен быть рядом с КХ загружен. проще получается в файл еще имя писать просто

источник

11:29пожаловаться #10

l

lnuynxa in ClickHouse не тормозит

а еще в файле дата в таком формате 14/12/18 13:43 подскажите, можно ли ее на инсерте как-то разруливать?

--date_time_input_format 'best-effort'
можно попробовать

источник

11:34пожаловаться #11

LU

Lars Ulrich in ClickHouse не тормозит

--date_time_input_format 'best-effort'
можно попробовать

ага, вот буквально только что заинсертил, пасиб

источник

11:34пожаловаться #12

AP

Al. P. in ClickHouse не тормозит

Привет, Коллеги. Интересует статус данной инициативы https://github.com/ClickHouse/ClickHouse/pull/10376 (ZK -> ETCD)? Я вижу, что что-то делается, но PR все еще не принят.

Есть ли какие-нибудь фундаментальные проблемы с заменой ЗК на ЕТЦД?

Allow to use Etcd as a replacement for ZooKeeper by levysh · Pull Request #10376 · ClickHouse/ClickHouse

I hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en
Changelog category (leave one):

New Feature

Changelog entry (a user-readable short description of the cha...

источник

11:39пожаловаться #13

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит

Тахир Мусин

А почему к создаваемому? Бакет создан.
Путь примерно такой: https://s3.us-west-2.amazonaws.com/bucket_name/file_name.csv',

Так а что вы хотите? Разве бакет на s3 можно перезаписать?
Запрос
SELECT count(*) FROM s3(https://s3.us-west-2.amazonaws.com/bucket_name/file_name.csv', ....)
выполняется?

источник

11:45пожаловаться #14

ТМ

Тахир Мусин... in ClickHouse не тормозит

Дмитрий Бережнов

Так а что вы хотите? Разве бакет на s3 можно перезаписать?
Запрос
SELECT count(*) FROM s3(https://s3.us-west-2.amazonaws.com/bucket_name/file_name.csv', ....)
выполняется?

Если честно, я думал что выгрузка данных в кликхаусе работает а ля как в Редшифте. То есть такой инструкцией я должен создавать новый бакет, в который попадет файл с результатами?

источник

11:48пожаловаться #15

ТМ

Тахир Мусин... in ClickHouse не тормозит

Справки по этой инструкции нет, в официальной документации не нашел, мне здесь подсказали

источник

11:49пожаловаться #16

DT

Dmitry Titov in ClickHouse не тормозит

Дмитрий Бережнов

Так а что вы хотите? Разве бакет на s3 можно перезаписать?
Запрос
SELECT count(*) FROM s3(https://s3.us-west-2.amazonaws.com/bucket_name/file_name.csv', ....)
выполняется?

Разве бакет на s3 можно перезаписать?
за бакет не уверен, но загружать файлы в бакет можно было

источник

11:53пожаловаться #17

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит

Разве бакет на s3 можно перезаписать?
за бакет не уверен, но загружать файлы в бакет можно было

Да, я не правильно сказал. Насколько я знаю файл на s3 можно только полностью перезаписать. Попробуйте руками файл загрузить, прочитать его из КХ. Если получиться прочитать, а записать - нет, значит дело в КХ. Если и прочитать не получиться, значит дело в пути к файлу или в КХ (не умеет он писать в s3)

источник

11:56пожаловаться #18

NZ

Nikita Zakharov in ClickHouse не тормозит

Всем привет!
Можно ли увидеть processlist еще и в разрезе баз? Колонки с названием базы там нет( Может как-то по query_id можно базу узнать?

источник

12:08пожаловаться #19

IP

Ivan Panteleev in ClickHouse не тормозит

не подскажете как сконфигурить словарь через конфиг файл, чтобы в system.dictionaries поле database было не пустым?

источник

12:09пожаловаться #20