Тогда вот основные предложения:
- делать lazyload, чтобы страница грузилась с картинкой, а видео - после (если автозапуск)
- пережимать видео по ширине разных экранов устройств (html позволяет указать хоть 100 пережатых форматов). Сам браузер выберет, какой клиенту загрузить (но тут я бы предложил плагин, чтобы не качать 4K для мелкого телефона)
- пережимать в другие формат, например: WebM или MP4
- использовать не свой хостинг для загрузки, а какой-нибудь cdn, чтобы доступность была быстрее. Любые свои хостинги, они медленные, даже выделенные серверы.
Здесь можно прочитать продробнее:
https://timeweb.com/ru/community/articles/kak-optimizirovat-video-dlya-sayta-1