ну хз, permutation importance вполне канает
экстраполировать нормально не умеет ни один метод, как мне кажется
"переобучению на некоторых задачах" - очень размыто
на шумных данных как раз норм, ансамбль же
так не тот ансамбль, а просто рэнд фор, если норм ансамбль - то тогда да, так и к бустингу придем