Нужно убрать дропдауны и сделать сверху-снизу иконки up-down. Остальное ЮХ - чтобы вводить с клавиатуры, tab-ом переключать фокус, стрелками добавлять-уменьшать значение. Если очень хочется, по клику на значение можно открывать дропдаун, но не такой, а чтобы колёсиком управлять и активное значение оставалось в центре