Size: a a a

Zabbix Russian Community

2020 October 09

КМ

Константин Малеваный... in Zabbix Russian Community
Добрый день. Может кто-то подскажет. Заметил такую проблему, у меня есть zabbix 3.4 который мониторит порядка 500 хостов с примерно 50000 элементов данных и есть zabbix 5.0, который мониторит эти же самые хосты с этими же самыми элементами данных. Проблема в том, что размер БД на zabbix 3.4 составляет 170Гб, а в 5.0 оставляет 940Гб. На обоих серверах период хранения истории составляет 90 дней. БД - postgresql 11, на 5.0 включен tsdb. Пытался анализировать почему такой рост БД на 5.0, вижу что пухнут чанки на tsdb, вычищаю запросом чанки SELECT public.drop_chunks('history_uint',older_than => extract(epoch from now() - interval '720 hours')::int); это частично помогает, размер сокращается до 500Гб, но всеравно как-то уж слишком. Есть мнения почему такое происходит?
источник

AG

Alexandr Gordeev in Zabbix Russian Community
Константин Малеваный
Добрый день. Может кто-то подскажет. Заметил такую проблему, у меня есть zabbix 3.4 который мониторит порядка 500 хостов с примерно 50000 элементов данных и есть zabbix 5.0, который мониторит эти же самые хосты с этими же самыми элементами данных. Проблема в том, что размер БД на zabbix 3.4 составляет 170Гб, а в 5.0 оставляет 940Гб. На обоих серверах период хранения истории составляет 90 дней. БД - postgresql 11, на 5.0 включен tsdb. Пытался анализировать почему такой рост БД на 5.0, вижу что пухнут чанки на tsdb, вычищаю запросом чанки SELECT public.drop_chunks('history_uint',older_than => extract(epoch from now() - interval '720 hours')::int); это частично помогает, размер сокращается до 500Гб, но всеравно как-то уж слишком. Есть мнения почему такое происходит?
Я по теме не подскажу к сожалению, но самое последнее что стоит делать, это лезть в БД и делать какие либо модификации таблиц/данных

А то что сам знаю, рост бД зависит в основном от кол-ва проверок/срока хранения данных (хистори/трендс)/  и того что хаус киипер корректно удаляет старую инфу
источник

AG

Alexandr Gordeev in Zabbix Russian Community
у вас партиционирование таблиц сделано или все в одной большой таблице ?
источник

КМ

Константин Малеваный... in Zabbix Russian Community
Alexandr Gordeev
у вас партиционирование таблиц сделано или все в одной большой таблице ?
на 3.4 работает декларативное партицирование таблиц истории и тредов, на 5.0 установлен tsdb
источник

AG

Alexandr Gordeev in Zabbix Russian Community
Константин Малеваный
на 3.4 работает декларативное партицирование таблиц истории и тредов, на 5.0 установлен tsdb
Я к сожалению с 5.0 не работал и tsdb, просто было интересно, есть ли информация о разнице между 3.4 и 5.0 за день т.е. при одинаковых настройках в одну БД пишется 3ГБ, а в другую 70ГБ.....
источник

КМ

Константин Малеваный... in Zabbix Russian Community
К сожалению анализа сколько данных пишется в БД каждой версией заббикс у меня пока нет
источник

КМ

Константин Малеваный... in Zabbix Russian Community
Но, судя по росту, то на 3.4 он оставляет, примерно, 1-3Гб в сутки и примерно такое же количество данных вычищается через вакуум и самим housekeeper zabbix, а на 5.0 он составляет, примерно, 10-20Гб в сутки, при этом housekeeper очень мало удаляет данных
источник

КМ

Константин Малеваный... in Zabbix Russian Community
Вакуум работает по регламенту на обоих БД
источник

DA

Dennis Ananiev in Zabbix Russian Community
Добрый день
Коллеги напомните пожалуйста для свежесозданной БД надо делать
CREATE EXTENSION IF NOT EXISTS timescaledb CASCADE;
или оно автоматически будет после
zcat /usr/share/doc/zabbix-server-pgsql*/create.sql.gz | sudo -u zabbix psql zabbix
источник

AK

A K in Zabbix Russian Community
Константин Малеваный
Но, судя по росту, то на 3.4 он оставляет, примерно, 1-3Гб в сутки и примерно такое же количество данных вычищается через вакуум и самим housekeeper zabbix, а на 5.0 он составляет, примерно, 10-20Гб в сутки, при этом housekeeper очень мало удаляет данных
хаускипер и не должен ничего удалять, это же тсдб, там чанки
источник

КМ

Константин Малеваный... in Zabbix Russian Community
A K
хаускипер и не должен ничего удалять, это же тсдб, там чанки
Я чанки чищу через запрос по регламенту.
источник

AK

A K in Zabbix Russian Community
Константин Малеваный
Я чанки чищу через запрос по регламенту.
это же неправильно, что-то идёт не так
источник

КМ

Константин Малеваный... in Zabbix Russian Community
Почему не правильно? Если их не чистить, то размер будет просто адовый. Сами же говорите, housekeeper чанки не чистит, а это значит что их или руками удалять, или смотреть как испаряется место на дисках под БД
источник

КМ

Константин Малеваный... in Zabbix Russian Community
Сейчас это примерно выглядит вот так:
_timescaledb_internal._hyper_2_198_chunk_history_uint_1 | 5038 MB
_timescaledb_internal._hyper_2_194_chunk_history_uint_1 | 5034 MB
_timescaledb_internal._hyper_2_189_chunk_history_uint_1 | 5013 MB
_timescaledb_internal._hyper_1_193_chunk                | 4898 MB
_timescaledb_internal._hyper_1_197_chunk                | 4893 MB
_timescaledb_internal._hyper_1_188_chunk                | 4858 MB
_timescaledb_internal._hyper_2_198_chunk                | 4787 MB
_timescaledb_internal._hyper_2_194_chunk                | 4780 MB
_timescaledb_internal._hyper_2_211_chunk_history_uint_1 | 4765 MB
_timescaledb_internal._hyper_2_189_chunk                | 4758 MB
_timescaledb_internal._hyper_1_193_chunk_history_1      | 4628 MB
_timescaledb_internal._hyper_2_173_chunk_history_uint_1 | 4622 MB
_timescaledb_internal._hyper_1_197_chunk_history_1      | 4621 MB
_timescaledb_internal._hyper_2_184_chunk_history_uint_1 | 4616 MB
_timescaledb_internal._hyper_2_178_chunk_history_uint_1 | 4611 MB
_timescaledb_internal._hyper_1_188_chunk_history_1      | 4588 MB
_timescaledb_internal._hyper_2_230_chunk_history_uint_1 | 4552 MB
_timescaledb_internal._hyper_2_211_chunk                | 4539 MB
_timescaledb_internal._hyper_1_212_chunk                | 4538 MB
_timescaledb_internal._hyper_2_217_chunk_history_uint_1 | 4520 MB
источник

AG

Alexandr Gordeev in Zabbix Russian Community
_timescaledb_internal._hyper_2_198_chunk_history_uint_1 | 5038 MB
_timescaledb_internal._hyper_2_194_chunk_history_uint_1 | 5034 MB
_timescaledb_internal._hyper_2_189_chunk_history_uint_1 | 5013 MB
_timescaledb_internal._hyper_1_193_chunk                | 4898 MB
_timescaledb_internal._hyper_1_197_chunk                | 4893 MB
_timescaledb_internal._hyper_1_188_chunk                | 4858 MB
_timescaledb_internal._hyper_2_198_chunk                | 4787 MB
_timescaledb_internal._hyper_2_194_chunk                | 4780 MB
_timescaledb_internal._hyper_2_211_chunk_history_uint_1 | 4765 MB
_timescaledb_internal._hyper_2_189_chunk                | 4758 MB
_timescaledb_internal._hyper_1_193_chunk_history_1      | 4628 MB
_timescaledb_internal._hyper_2_173_chunk_history_uint_1 | 4622 MB
_timescaledb_internal._hyper_1_197_chunk_history_1      | 4621 MB
_timescaledb_internal._hyper_2_184_chunk_history_uint_1 | 4616 MB
_timescaledb_internal._hyper_2_178_chunk_history_uint_1 | 4611 MB
_timescaledb_internal._hyper_1_188_chunk_history_1      | 4588 MB
_timescaledb_internal._hyper_2_230_chunk_history_uint_1 | 4552 MB
_timescaledb_internal._hyper_2_211_chunk                | 4539 MB
_timescaledb_internal._hyper_1_212_chunk                | 4538 MB
_timescaledb_internal._hyper_2_217_chunk_history_uint_1 | 4520 MB
источник

AG

Alexandr Gordeev in Zabbix Russian Community
используйте пожалуйста символ `   логи/код между тремя ковычками
источник

RM

Roman Monakhov in Zabbix Russian Community
Константин Малеваный
Но, судя по росту, то на 3.4 он оставляет, примерно, 1-3Гб в сутки и примерно такое же количество данных вычищается через вакуум и самим housekeeper zabbix, а на 5.0 он составляет, примерно, 10-20Гб в сутки, при этом housekeeper очень мало удаляет данных
На 3.4 декларативное партиционирование и хаускипер включены для истории и трендов?
источник

КМ

Константин Малеваный... in Zabbix Russian Community
Roman Monakhov
На 3.4 декларативное партиционирование и хаускипер включены для истории и трендов?
да
источник

G

Gregory in Zabbix Russian Community
Evgеnу
Бгг. Это ж open-source. Напишите)

У нас платный софт имеет api и возможность загрузки пользовательских модулей.
В описании api ошибок больше, чем правильной информации, а единственная дока по модулям - файл описания интерфейсов для VisualStudio
поддержка модулей есть часть продукта и публично доступен. сами же модули не являются частью продукта и их сорцы могут быть не доступны.
источник

RM

Roman Monakhov in Zabbix Russian Community
Странно, но ладно. На 5.0 нужно поднять уровень логирования хаускипера и смотреть в логи: zabbix_server -R log_level_increase=housekeeper
источник