Спасибо!

У кого-нибудь есть под рукой иллюстрация того, почему с ростом AUC может не расти (а то и вовсе падать) Accuracy?

а зачем тут иллюстрация ?
аук - ареа ундер курве, тоесть площадь под кривой, а сама кривая это правильно предсказанных на тестовых данных, а акураси - это уже обученный алгоритм на рабочих данных и тут фишка, что данных для обучения/настройки одного класса может быть больше, чем другого, а в тестовой группе может быть один класс и не быть другого :)
сделайте примеров классов равномерное для всех групп и посмотрите что получится :)

Accuracy очень восприимчива к несбалансированности классов, а AUC не особо.

Ну вот у меня кейс, где баланс классов ~ 50/50. Я добавляю в модель фичи и AUC прирастает значительно (на ~ 8%), а Accuracy (на тех же тестовых данных) всего на 2% от силы.

Ну как сказать... при балансе 99/1 на AUC тоже особо смысла смотреть нет.

Ну, это уже совсем.

Может, ошибка где-то?

так в тестовых тоже 50/50?

А что "совсем"? Классика задач на предсказание оттока.

и вообще дАук != дАссураси

Конечно.

Ясен красен. Вопрос о том, почему AUC растет сильнее Accuracy.

так блин, ты подбираешь данные на основе уже существующих данных, а тестируешь уже на других
Вообще это больше от качества данных завиит и от признаков которые ты напихал в модель

И? Я же Accuracy и AUC на тестовых данных смотрю.

и всё )
так подобралось и возможно уже близко теоретическому возможному качеству, поэтому прирост такой мелкий :)
конкретные цифры какие ?

Просто мне чисто интуитивно казалось, что прирост AUC с 0,7 до 0,78 должен дать прирост Accuracy больший, чем 0,68 -> 0,7.

нет, приращение аук != приращение аккураси :)
аук это площадь же, а аккураси некий коэф в среднем
как в анекдоте про капусту мясо и голубцы

вот тут про рук хорошо написано:
dyakonov.org//2017/07/28/auc-roc-площадь-под-кривой-ошибок/