в любом случае у тебя всего два варианта:
1. оставить всё как есть и продолжать наслаивать костыли и хотфиксы друг на друга, и приводя проект к неподдерживаемому состоянию (что уже произошло) и при этом проект конечно же будет расти
2. рефакторнуть сейчас, пока проект на текущей стадии и не дожидаться продолжения роста, позволив расширять кодовую базу
лично мне, кажется разумным, остановиться и порефакторить пока не стало ещё хуже