ЕГ
У нас такое было, когда вставляли данные без буфера - на 2 дня данные отставали на репликах...
Спасибо.
Так никогда не закрывал. В чем проблема?
Кол-во коннектов в mysql?
Size: a a a
2020 August 18
AG
Время закрытия соединения совпадает с временем wait timeout
MySQL не даст соединению висеть очень долго
Хотелось бы, чтобы click house сам знал, когда ему надо закрыть соединение
MySQL не даст соединению висеть очень долго
Хотелось бы, чтобы click house сам знал, когда ему надо закрыть соединение
A
Привет. Нашел в ChangeLog поддержку PostgreSQL wire protocol. Означает ли это, что можно смело использовать клиентские библиотеки для постгреса, проверенные временем или есть какие-то подводные камни? Например, что по прежнему инсерты должны быть пачками и не чаще раза в секунду. Может ещё какие-то особенности? Будет ли на практике прирост производительности при использовании взрослых клиентских библиотек для постгреса по сравнению с HTTP-клиентом?
SC
Привет. Нашел в ChangeLog поддержку PostgreSQL wire protocol. Означает ли это, что можно смело использовать клиентские библиотеки для постгреса, проверенные временем или есть какие-то подводные камни? Например, что по прежнему инсерты должны быть пачками и не чаще раза в секунду. Может ещё какие-то особенности? Будет ли на практике прирост производительности при использовании взрослых клиентских библиотек для постгреса по сравнению с HTTP-клиентом?
Модель хранения данных от поддержки протокола никак не зависит
K
@den_crane
еще один вопросик. я вот читаю использование движка Buffer, и мне немного непонятны ограничения использования с ReplicatedMegreeTree.
у меня планируется использовать 2 сервера. запись будет только идти только на первый, на втором только чтение.
думал использовать Buffer как накопление данных и сброс по условию в ReplicatedMegreeTree. клиенты, не будут более одного раза посылать данные на запись, то есть дублей не будет.
в таком случае может возникнуть дубликация и запись более одного раза? или можно использовать Buffer таблицу?
еще один вопросик. я вот читаю использование движка Buffer, и мне немного непонятны ограничения использования с ReplicatedMegreeTree.
у меня планируется использовать 2 сервера. запись будет только идти только на первый, на втором только чтение.
думал использовать Buffer как накопление данных и сброс по условию в ReplicatedMegreeTree. клиенты, не будут более одного раза посылать данные на запись, то есть дублей не будет.
в таком случае может возникнуть дубликация и запись более одного раза? или можно использовать Buffer таблицу?
DC
Kos
@den_crane
еще один вопросик. я вот читаю использование движка Buffer, и мне немного непонятны ограничения использования с ReplicatedMegreeTree.
у меня планируется использовать 2 сервера. запись будет только идти только на первый, на втором только чтение.
думал использовать Buffer как накопление данных и сброс по условию в ReplicatedMegreeTree. клиенты, не будут более одного раза посылать данные на запись, то есть дублей не будет.
в таком случае может возникнуть дубликация и запись более одного раза? или можно использовать Buffer таблицу?
еще один вопросик. я вот читаю использование движка Buffer, и мне немного непонятны ограничения использования с ReplicatedMegreeTree.
у меня планируется использовать 2 сервера. запись будет только идти только на первый, на втором только чтение.
думал использовать Buffer как накопление данных и сброс по условию в ReplicatedMegreeTree. клиенты, не будут более одного раза посылать данные на запись, то есть дублей не будет.
в таком случае может возникнуть дубликация и запись более одного раза? или можно использовать Buffer таблицу?
>клиенты, не будут более одного
>раза посылать данные на запись
хехе. Вы послали инсерт с 127000 записей. В ответ получили таймаут через 300сек. Внимание вопрос: сколько записей вставилось? Что будет делать приложение?
>раза посылать данные на запись
хехе. Вы послали инсерт с 127000 записей. В ответ получили таймаут через 300сек. Внимание вопрос: сколько записей вставилось? Что будет делать приложение?
K
>клиенты, не будут более одного
>раза посылать данные на запись
хехе. Вы послали инсерт с 127000 записей. В ответ получили таймаут через 300сек. Внимание вопрос: сколько записей вставилось? Что будет делать приложение?
>раза посылать данные на запись
хехе. Вы послали инсерт с 127000 записей. В ответ получили таймаут через 300сек. Внимание вопрос: сколько записей вставилось? Что будет делать приложение?
да тут как раз проблема в том , что клиенты будут посылать по 1-200 строк всего лишь
DC
Kos
да тут как раз проблема в том , что клиенты будут посылать по 1-200 строк всего лишь
>клиенты, не будут более одного
>раза посылать данные на запись
хехе. Вы послали инсерт с 1 записью. В ответ получили таймаут через 300сек. Внимание вопрос: сколько записей вставилось? Что будет делать приложение?
>раза посылать данные на запись
хехе. Вы послали инсерт с 1 записью. В ответ получили таймаут через 300сек. Внимание вопрос: сколько записей вставилось? Что будет делать приложение?
K
>клиенты, не будут более одного
>раза посылать данные на запись
хехе. Вы послали инсерт с 1 записью. В ответ получили таймаут через 300сек. Внимание вопрос: сколько записей вставилось? Что будет делать приложение?
>раза посылать данные на запись
хехе. Вы послали инсерт с 1 записью. В ответ получили таймаут через 300сек. Внимание вопрос: сколько записей вставилось? Что будет делать приложение?
приложение выкинет ошибку в лог, и забудет о записи. потом админы- разрабы проверят логи и будет разбор полета, почему возникли таймауты и так далее. если потребуется, данные дольют из монги... изменение таймаутов и так далее
DC
Kos
приложение выкинет ошибку в лог, и забудет о записи. потом админы- разрабы проверят логи и будет разбор полета, почему возникли таймауты и так далее. если потребуется, данные дольют из монги... изменение таймаутов и так далее
Тогда можно использовать buffer
K
Тогда можно использовать buffer
спасибо!
D
сегодня солнце взошло рано =)))
D
Привет. Нашел в ChangeLog поддержку PostgreSQL wire protocol. Означает ли это, что можно смело использовать клиентские библиотеки для постгреса, проверенные временем или есть какие-то подводные камни? Например, что по прежнему инсерты должны быть пачками и не чаще раза в секунду. Может ещё какие-то особенности? Будет ли на практике прирост производительности при использовании взрослых клиентских библиотек для постгреса по сравнению с HTTP-клиентом?
я пока не пробовал. но:
> Означает ли это, что можно смело использовать клиентские библиотеки для постгреса, проверенные временем или есть какие-то подводные камни?
либы автоматом лезущие в PG catalog для каких-то метаданных работать скорее всего не будут. Можно отправлять запросы, и получать результат. Да и то не со всеми типами будет работать.
>Например, что по прежнему инсерты должны быть пачками и не чаще раза в секунду.
все должно быть как раньше.
> Будет ли на практике прирост производительности при использовании взрослых клиентских библиотек для постгреса по сравнению с HTTP-клиентом?
не пробовали, но если честно http client шлет бинарные данные в ответ (если попросить правильно), и особо ускорения в данном случае не должно быть заметно.
> Означает ли это, что можно смело использовать клиентские библиотеки для постгреса, проверенные временем или есть какие-то подводные камни?
либы автоматом лезущие в PG catalog для каких-то метаданных работать скорее всего не будут. Можно отправлять запросы, и получать результат. Да и то не со всеми типами будет работать.
>Например, что по прежнему инсерты должны быть пачками и не чаще раза в секунду.
все должно быть как раньше.
> Будет ли на практике прирост производительности при использовании взрослых клиентских библиотек для постгреса по сравнению с HTTP-клиентом?
не пробовали, но если честно http client шлет бинарные данные в ответ (если попросить правильно), и особо ускорения в данном случае не должно быть заметно.
K
а как можно ограничить размер таблицы query_thread_log? глубина хранения, или максимальный размер?
или как почистить например старше N дней?
или как почистить например старше N дней?
D
Kos
а как можно ограничить размер таблицы query_thread_log? глубина хранения, или максимальный размер?
или как почистить например старше N дней?
или как почистить например старше N дней?
U
ты так и будешь по всем чатам этот баян теперь кидать?
DN
Мне кажется тогда профессия программист будет не нужна)
K
так это как мне поможет? я сделал партиционирование по дням например. а потом написать скрипт дропать партиции старше N дней ?
DC
Kos
так это как мне поможет? я сделал партиционирование по дням например. а потом написать скрипт дропать партиции старше N дней ?
так ttl
ORDER BY (event_date, event_time) TTL event_date + toIntervalMonth(1)
SETTINGS min_bytes_for_wide_part = '10M', index_granularity = 8192, ttl_only_drop_parts=1
<engine>ENGINE = MergeTree PARTITION BY (event_date) ORDER BY (event_date, event_time) TTL event_date + toIntervalMonth(1)
SETTINGS min_bytes_for_wide_part = '10M', index_granularity = 8192, ttl_only_drop_parts=1
K
так ttl
ORDER BY (event_date, event_time) TTL event_date + toIntervalMonth(1)
SETTINGS min_bytes_for_wide_part = '10M', index_granularity = 8192, ttl_only_drop_parts=1
<engine>ENGINE = MergeTree PARTITION BY (event_date) ORDER BY (event_date, event_time) TTL event_date + toIntervalMonth(1)
SETTINGS min_bytes_for_wide_part = '10M', index_granularity = 8192, ttl_only_drop_parts=1
а. все таки TTL есть возмонжость поставить на этой таблице. спасибо!