Тем более есть повод еще раз проверить, если проблема сохранится - надо будет зарепортить.

попробуйте, это интересно

Всем бодрого дня.
В астере cdr&cel записи могут хранится в файлах csv. Но такие файлы со временем становятся очень больших размеров. Читать их со временем это весьма медленный процесс с усугулением ситуации.
Вопрос: кто-нить пробовал сохранять cdr&cel в файлах другого формата? К примеру, avro, parquet, hdf5 или feather?
На какие нюансы стоит обратить внимание при интеграции подобных форматов хранения записей? Какие лучше подходят для нашего случая, а какие не очень?
Есть подозрение, что тот же parquet, несмотря на свою скорость, плохо подходит для записей cdr&cel.

Делал такое давно и самый быстрый и удобный вариант писать в БД и из него генерировать СДР-ку нужного формата

вот тоже интересно. SQLite для этого хватит, или у неё при увеличении кол-ва записей проблемы начнутся?

Тестировал несколько БД для этого понравился SQL Server

не самая лучшая идея. Через год будут проблемы

а зачем хранить это в файлах?

у меня противоположная хотелка, есть cdr за каждый час, надоело для подсчёта статистики лопатить сотни файлов, хочу перегонять в БД и оттуда тягать.

Дело в том, что та же неоптимизированная mysql бд очень медленно отдает результат поиска. До нескольких минут доходит.
А к примеру тот же parquet (судя со слов очевидцев) за доли секунд может отдавать результат из бд в несколько лярдов строк.

а что мешает? астер же позволяет класть в базу

а вы не хотите попробовать clickhouse от яндекса?

Добавьте пару индексов и храните в таблице cdr только за какой то период и будет намного быстрее

их делает не астер =)

Не знал что у яндекса есть свое БД )) спасибо надо попробовать

оно отлично подходит именно для этой задачи. Очень быстрое

Интересно какие ограничения у него

кстати, у меня есть унаследованный астер+фпбх, на нём cdr режутся через logrotate. т.е. на каждые сутки свой файлик

ограничения на перезапись, с этим там свои сложности. Но очень быстрая запись/чтение

а может делать астером? или сразу класть в базу