Am
40 для врйта
Size: a a a
2020 December 04
ВН
в dirty_bytes больше 15 гигов не видел
https://blog.selectel.com/bcache-vs-flashcache/ вот посмотри
ПС
это читал уже. Спасибо
ПС
ну видимо вот это надо еще покрутить.. writeback_rate_p_term_inverse and writeback_rate_i_term_inverse
AZ
ну видимо вот это надо еще покрутить.. writeback_rate_p_term_inverse and writeback_rate_i_term_inverse
посмотри на работу gc :)
AZ
его даже в atop должно быть видно, под большой нагрузкой, метрики какие-то есть в sysfs
/sys/class/block/bcache0/bcache/cache/internal/btree_gc_*
ПС
спасибо, теперь примерно понятно куда копать.
Am
спасибо, теперь примерно понятно куда копать.
расскажи про результаы, даже отрицательные ))
ПС
ну дело точно в тротлинге.
Увеличил раздел под кеш до 200гиг, Теперь тормозить начинает через 40 секунд.
при этом writeback_percent установлен в 40, а в момент начала тротлинга /sys/block/bcache2/bcache/dirty_data
13.2G
Увеличил раздел под кеш до 200гиг, Теперь тормозить начинает через 40 секунд.
при этом writeback_percent установлен в 40, а в момент начала тротлинга /sys/block/bcache2/bcache/dirty_data
13.2G
ПС
как-то не сходится пока
AZ
Ещё, кстати, баг может быть!
https://bugzilla.kernel.org/show_bug.cgi?id=206767
в /sys/class/block/bcache0/bcache/cache/cache_available_percent если <=30, не зависимо от того, что написано в writeback_rate_debug или dirty_data
https://bugzilla.kernel.org/show_bug.cgi?id=206767
в /sys/class/block/bcache0/bcache/cache/cache_available_percent если <=30, не зависимо от того, что написано в writeback_rate_debug или dirty_data
Am
ну дело точно в тротлинге.
Увеличил раздел под кеш до 200гиг, Теперь тормозить начинает через 40 секунд.
при этом writeback_percent установлен в 40, а в момент начала тротлинга /sys/block/bcache2/bcache/dirty_data
13.2G
Увеличил раздел под кеш до 200гиг, Теперь тормозить начинает через 40 секунд.
при этом writeback_percent установлен в 40, а в момент начала тротлинга /sys/block/bcache2/bcache/dirty_data
13.2G
А попробуй блок еще увеличить в фио
ПС
А попробуй блок еще увеличить в фио
с 8к блоком, получается записать больше данных, он быстрее "наедается"
2020 December 05
ПС
Ещё, кстати, баг может быть!
https://bugzilla.kernel.org/show_bug.cgi?id=206767
в /sys/class/block/bcache0/bcache/cache/cache_available_percent если <=30, не зависимо от того, что написано в writeback_rate_debug или dirty_data
https://bugzilla.kernel.org/show_bug.cgi?id=206767
в /sys/class/block/bcache0/bcache/cache/cache_available_percent если <=30, не зависимо от того, что написано в writeback_rate_debug или dirty_data
Похоже был баг, bcache был слишком старый. В итоге проапгрейдил операционку и ядро , задержки ушли. Iops стали более вменяемые для ssd этого уровня. 54к на запись(до этого было до 90 на запись, как nvme)
ПС
Кому интересно вот результат fio.
ИР
Добрый день коллеги. Прошу вашего совета. Необходимо реализовать хранилище огромного количества файлов(миллионы файлов в год объемом несколько терабайт) с возможностью add/upload/view files по rest API. Подойдёт ли ceph для этих целей?
ПС
Подойдёт.
ИР
Причем планируется использовать API как для GUI интерфейса(отображение в других web application),так и для прямого трансфера из других систем
A
Добрый день коллеги. Прошу вашего совета. Необходимо реализовать хранилище огромного количества файлов(миллионы файлов в год объемом несколько терабайт) с возможностью add/upload/view files по rest API. Подойдёт ли ceph для этих целей?
Спроектируй сразу кластер нормально и подойдет.