Нельзя. Тебе нужна возможность гарантированно удалять энтити точно когда тебе нужно. Если они не будут удаляться это сломает игровую логику.
Да, это плохое решение, конечно. Это был просто пример. Как минимум понадобится ещё что-то, что гарантирует, что объект не продолжит существовать из-за левой ссылки