да, 640kb

Доброй ночи, извиняюсь, возможно, за глупый вопрос, но облазал инет и не нашел ответа. Я пытаюсь загрузить данные dataFrame.write.jdbc(...). Проблема в том, что я хочу создавать таблицу на лету, однако у меня вылетает ошибка связанная с тем, что clickhouse создает, например, колонку с типом DateTime, а нужно Nullable(DateTime). Можно ли как-то создавать таблицы через спарк в clickhouse на лету, чтобы он автоматически создавал Nullable колонки, если в датафрейме есть null значения?

dataframe.write().schema(schema).jdbc(..)

?

dataframe.write().schema(schema).jdbc(..)

пробовал, у меня он вывел 'DataFrameWriter' object has no attribute 'schema'

всем привет!
подскажите пожалуйста по следующему вопросу:
есть цепочка событий у каждого пользователя, на одного пользователя мне необходимо собрать массив из этих событий начиная с определенного события, например цепочка действий пользователя: заход на главную страницу -> вбивание в поиск названия -> показ результатов быстрого поиска -> переход на ссылку из быстрого поиска
я хочу сгруппировать эти события в массив так, чтобы этот массив начинался с события "вбивание в поиск названия", как это сделать?
и еще вопрос как сделать так, чтобы этот массив начинался с первого такого события за день (датавремя событий имеется)?

groupArray на пофильтрованной и отсортированной по timestamp таблице даст  массивы событий.
Чтобы отрезать начало до какого-то события, можно использовать arraySlice c indexOf нужного элемента массива.

спасибо большое

Добрый день. Можно как-то исправить Conversion from AggregateFunction(groupUniqArray(1000), String) to AggregateFunction(groupUniqArray(1000), LowCardinality(String)) is not supported ? Пробую toLowCardinality но не помогает...

ребята, привет!
заменяет ли Buffer в ClickHouse использование Kafka брокера для пакетного добавления данных?

нет, буфер не персистентный, и одинаковый batchинг не гарантирован

спасибо

Но это не значит, что обязательно использовать кафку. Можно использовать kittenhouse, например

коллеги, подскажите, если серверу добавить ядер, как заставить кликхаус увидеть все ядра сервера без рестарта ?

о! а это интересно... спасибо, буду изучать

Ну и вообще зависит от задачи. Если сбор логов -- то пишите в файл, а потом каким-то log ingestor (fluentbit и др) вставляете в базу. Тут и балкование и персист.

Если пишете продуктовое что-то, то можно со стороны приложения баловать и  персистить. Или не персистить вообще, а только в памяти баловать и вставлять с кворумом, если позволяет задача. Короче it depends

задача позволяет даже пропустить небольшое количество данных... главное, чтоб маштабировалось, не тупило и подключалось к Tableau

Всем привет.

CH при запросах словарей из PG по ODBC попадает на ошибку

ERROR:  prepared statement "_PLAN0x7f4d54cc1800" already exists

Можно ли каким-то образом отключить использование prepared statements на стороне ch? Или есть иные варианты решения данной проблемы?

set max_threads в каждом запросе

спасибо

спасибо помогло)