ДT
Иван
Господа вопрос: 10 секунд на 40к логов по файлам для sqlite это долго?
вопрос не полный
Size: a a a
2021 January 21
ДT
10 секунд чего?
И
Прочитать в файлах, найти новые и инсертнуть в logs.db.
ДT
вроде норм
AS
Иван
Господа вопрос: 10 секунд на 40к логов по файлам для sqlite это долго?
А тебя/заказчика задачи устраивает? :)
И
А тебя/заказчика задачи устраивает? :)
Заказчик я и я не знаю быстро это или долго😅
IS
Иван
Заказчик я и я не знаю быстро это или долго😅
ну если тебя устраивает, то норм, если нет, то не норм=)
может у тебя там файлы логов по 1 Гб каждый, например
может у тебя там файлы логов по 1 Гб каждый, например
OM
Иван
Господа вопрос: 10 секунд на 40к логов по файлам для sqlite это долго?
вставки делать в sqlite? "но зачем?"
И
вставки делать в sqlite? "но зачем?"
Чтоб сеть между "базой" и приложением не влияла. Да и простота использования без установки серьезных баз. Чисто как некий кэш логов
OM
ааа. формат пакетов
И
ааа. формат пакетов
Пакетов?
OM
а sqlite нужен потому что лог структурированый, и вставки могут быть не только в конец таблицы но и в середину?
OM
если нет то sqlite тут "оверинжениринг"
OM
имхо
IS
Иван
Чтоб сеть между "базой" и приложением не влияла. Да и простота использования без установки серьезных баз. Чисто как некий кэш логов
а может Redis лучше покатит под задачу?
OM
имхо, mq нужен с at least once
И
По идее хорошо бы логи хранить где-нибудь в предназначенном для этого месте... Я sqlite использовал чисто так написать быстро на коленке
OM
а в таблице есть индексы?
И
а в таблице есть индексы?
Sqlite?
OM
да