Вообще интересно. Почему appcompatdialogfragment сохраняется при повороте а обычный appcompatfragment нет
Мокси не связано с навигацией, совсем. Если у вас фрагменты ведут себя не так, как надо - вы неправильно делаете навигацию (не добавляете транзакции в бэкстек, вызываете инициализацию фрагментов на каждый Activity.onCreate, и так далее.)