Size: a a a

Ceph — русскоговорящее сообщество

2020 November 24

DP

Dmitry Polyakov in Ceph — русскоговорящее сообщество
Дмитрий Дятлов
это какая же база нужна, что бы делала 27kIOPS ?
однопоточно там будет 1К tps  - учитывая, что потолок для тебя будет 1K однопоточных иопс к диску
источник

DP

Dmitry Polyakov in Ceph — русскоговорящее сообщество
вот надо это принять и использовать сеф соответсвующе
источник

MP

Mike Pluzhnikov in Ceph — русскоговорящее сообщество
так 27к - это много потоков, это потолок. А один поток с QD=1 - там решает латенси. И уже тут ты не получишь на VM+librbd+nocache латенси ниже 1.5-2ms на запись 4k bs
источник

MP

Mike Pluzhnikov in Ceph — русскоговорящее сообщество
на krbd латенси лучше, да.
источник

ДД

Дмитрий Дятлов... in Ceph — русскоговорящее сообщество
Это примерно 2000 VM работают.
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Дмитрий Дятлов
это какая же база нужна, что бы делала 27kIOPS ?
База пишет в wal с iodepth=1. С iodepth=1 у цефа не 27000, а всего 1000 ОТ СИЛЫ
источник

ДД

Дмитрий Дятлов... in Ceph — русскоговорящее сообщество
Виталий На Заборе
База пишет в wal с iodepth=1. С iodepth=1 у цефа не 27000, а всего 1000 ОТ СИЛЫ
Какая база?
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Дмитрий Дятлов
Какая база?
Любая)
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Где есть wal
источник

ДД

Дмитрий Дятлов... in Ceph — русскоговорящее сообщество
ну значит мне не повезло, и нету у меня такой базы с wal )
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Дмитрий Дятлов
Какая база?
Смысл в чем, вот у тебя есть рандомная серверная NVMe. У нее iodepth=1 запись - условно 40000 иопс, т.е 1 операция занимает 25 микросекунд
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
А дальше есть у тебя та же NVMe но под цефом
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
И в цефе у тебя iodepth=1 _в лучшем_случае_ 1000, максимум 2000 (редко) iops
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
А по факту если ничего специально не делал - то не 1000, а 300
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
А 300 - это уже почти HDD
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
При этом да, если всрать туда iodepth=128 - ну выжмет оно скажем 10000 иопс на запись. Но толку от этого для СУБД мало
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
27000 это еще оптимизм
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
У меня весь кластер из 14 nvme выжимает 32000
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
На запись
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
А КАЖДАЯ nvme ОДНА выжимает типа 200000
источник