r
я кажется понял, мы просто вообще всю память съели
Size: a a a
2021 January 25
r
и вот этот буфер он не влезает никак
r
пошел гуглить как правильно отдать под буфер памяти бы
S
подскажите, пожалуйста, можно ли настроить автоматическую генерацию значения в uuid-колонке на уровне таблицы? чтобы при инсертах это не нужно было указывать?
лучше так не делать
это бесполезные для clickhouse данные
весить будут дофига
а выборку по ним делать напряжно потому что это высоко кардинальные данные без монотонного возрастания значений
зачем вы хотите генерировать эту колонку? что вы потом собираетесь с этими данными делать?
это бесполезные для clickhouse данные
весить будут дофига
а выборку по ним делать напряжно потому что это высоко кардинальные данные без монотонного возрастания значений
зачем вы хотите генерировать эту колонку? что вы потом собираетесь с этими данными делать?
S
пошел гуглить как правильно отдать под буфер памяти бы
у вас на INSERT вылетает ошибка с аллокацией памяти?
а как вы INSERT делаете? в каком формате?
есть два вида инсертов, стриминговые (память аллоцируется пропорционально кол-ву вставляемых столбцов и дальше потоковый парсинг) и statement (когда перед тем как вставить надо весь SQL распарсить в память)
у вас какой?
а как вы INSERT делаете? в каком формате?
есть два вида инсертов, стриминговые (память аллоцируется пропорционально кол-ву вставляемых столбцов и дальше потоковый парсинг) и statement (когда перед тем как вставить надо весь SQL распарсить в память)
у вас какой?
AV
лучше так не делать
это бесполезные для clickhouse данные
весить будут дофига
а выборку по ним делать напряжно потому что это высоко кардинальные данные без монотонного возрастания значений
зачем вы хотите генерировать эту колонку? что вы потом собираетесь с этими данными делать?
это бесполезные для clickhouse данные
весить будут дофига
а выборку по ним делать напряжно потому что это высоко кардинальные данные без монотонного возрастания значений
зачем вы хотите генерировать эту колонку? что вы потом собираетесь с этими данными делать?
для того, чтобы в другой таблице (в mysql) иметь ссылку на строки из таблицы в кх. в кх при этом есть пара колонок, образующих уник, но удобнее ссылаться на 1 колонку в стандартном формате, чем на 2 или больше
r
у вас на INSERT вылетает ошибка с аллокацией памяти?
а как вы INSERT делаете? в каком формате?
есть два вида инсертов, стриминговые (память аллоцируется пропорционально кол-ву вставляемых столбцов и дальше потоковый парсинг) и statement (когда перед тем как вставить надо весь SQL распарсить в память)
у вас какой?
а как вы INSERT делаете? в каком формате?
есть два вида инсертов, стриминговые (память аллоцируется пропорционально кол-ву вставляемых столбцов и дальше потоковый парсинг) и statement (когда перед тем как вставить надо весь SQL распарсить в память)
у вас какой?
на него, sql по http INSERT INTO.... и многострок в VALUES
S
на него, sql по http INSERT INTO.... и многострок в VALUES
перейдите на TSV или CSV
у вас там каких нибудь expression нет случайно в INSERT которые перед вставкой вычислять еще придется?
у вас там каких нибудь expression нет случайно в INSERT которые перед вставкой вычислять еще придется?
r
перейдите на TSV или CSV
у вас там каких нибудь expression нет случайно в INSERT которые перед вставкой вычислять еще придется?
у вас там каких нибудь expression нет случайно в INSERT которые перед вставкой вычислять еще придется?
нет, только циферкм
r
проблема в том что в таблицу вставляется так ок
r
а в буфер - ошибка такая (плюс соседние запросы с ней же падают)
r
то есть вставка в буфер жрет памяти лишней
S
для того, чтобы в другой таблице (в mysql) иметь ссылку на строки из таблицы в кх. в кх при этом есть пара колонок, образующих уник, но удобнее ссылаться на 1 колонку в стандартном формате, чем на 2 или больше
что-то откровенно говоря не могу представить кейс в котором такая связка была бы полезна...
то есть вы что хотите сделать то?
после вставки в clickhouse вы потом в clickhouse данные как то фильтруете и обратно вставляете в MySQL чтобы на стороне MySQL join сделать, или что?
то есть вы что хотите сделать то?
после вставки в clickhouse вы потом в clickhouse данные как то фильтруете и обратно вставляете в MySQL чтобы на стороне MySQL join сделать, или что?
AV
что-то откровенно говоря не могу представить кейс в котором такая связка была бы полезна...
то есть вы что хотите сделать то?
после вставки в clickhouse вы потом в clickhouse данные как то фильтруете и обратно вставляете в MySQL чтобы на стороне MySQL join сделать, или что?
то есть вы что хотите сделать то?
после вставки в clickhouse вы потом в clickhouse данные как то фильтруете и обратно вставляете в MySQL чтобы на стороне MySQL join сделать, или что?
да вроде бы примитивный кейс :( строка в таблице в кх представляет некоторую сущность, на которую ссылается другая сущность, хранящаяся в таблице в реляционной бд. мы оперируем в интерфейсе данными из таблицы в мускуле и хотим подтягивать там же данные из соответствующей строки в КХ
K
быть может стоит посмотреть в сторону словарей?
S
то есть вставка в буфер жрет памяти лишней
если версия clickhouse 20.5+
то можно профайлинг для памяти включить ненадолго
https://github.com/Slach/clickhouse-flamegraph/blob/master/docker/clickhouse/profiling.xml
и посмотреть куда память тратится
то можно профайлинг для памяти включить ненадолго
https://github.com/Slach/clickhouse-flamegraph/blob/master/docker/clickhouse/profiling.xml
и посмотреть куда память тратится
K
да вроде бы примитивный кейс :( строка в таблице в кх представляет некоторую сущность, на которую ссылается другая сущность, хранящаяся в таблице в реляционной бд. мы оперируем в интерфейсе данными из таблицы в мускуле и хотим подтягивать там же данные из соответствующей строки в КХ
лучше конкретезивать сущности, станет понятно как лучше вам помочь
S
да вроде бы примитивный кейс :( строка в таблице в кх представляет некоторую сущность, на которую ссылается другая сущность, хранящаяся в таблице в реляционной бд. мы оперируем в интерфейсе данными из таблицы в мускуле и хотим подтягивать там же данные из соответствующей строки в КХ
JOIN между MySQL и ClickHouse где делается? в приложени?
AV
JOIN между MySQL и ClickHouse где делается? в приложени?
речь идёт не о полноценном джойне, а выборе строки по айдишнику. на уровне приложения открывается страница сущности, которая лежит в mysql и там же делается поиск по айдишнику в кх
AV
лучше конкретезивать сущности, станет понятно как лучше вам помочь
кликхауз - некоторые события (мероприятия) в мире, их там очень много с разными параметрами. у нас таблица с обзорами событий, их значительно меньше и хочется иметь ссылку на общий перечень событий