Продебажил весь стек live reload на клиенте и сервере, посмотрел исходники, оказалось, что клиент и сервер использовал разные версии live reload из-за чего не совпадали протоколы и не работала перезагрузка страницы.
В node_modules было 3 разные версии webpack-dev-server, поэтому и не работало. Выравнил версии зависимостей и все стало норм.
Если у кого будет проблема, то просто проверьте, что у вас одна и таже версия в node_modules:
npm ls webpack-dev-server