Я бы поспорил с этим утверждением

Глаз - алмаз

У статистики большие проблемы с тем, чтобы доказывать, что что-то одинаково. Она хорошо показывает, что что-то отличается. Если мы делаем t-test, то стандартная H0 — средние совпадают, H1 — средние не совпадают. Считаем p-value — вероятность увидеть результат как у нас или более экстремальный, если H0 верна. Ну и если p-value меньше заветного 0.05, то мы отвергаем H0. Частая ошибка студентов, это считать, что если p-value больше завтного числа, то мы принимаем H0, ведь на самом деле на этом месте фриквентистская статистика говорит: "мы не можем ни принять, ни опровергнуть H0, идите собирайте все данные заново". Аналогично с тестом на нормальность: H0 — данные распределены нормально, H1 — данные распределены ненормально. Если p-value в таком тесте больше 0.05, то мы не должны радостно бежать и кричать, что у нас нормальные данные, а мы на самом деле не можем, ни принять, ни опровергнуть H0.

Это уже надо читать advanced литературу :)

Насколько я знаю, p-value показывает, какова вероятность, при истинности нулевой гипотезы, получить такое же или более экстремальное значение статистики. Если p-value достаточно велик (больше 0.5, например), то мы можем допустить, что данные имеют распределение, достаточно близкое к нормальному, чтобы пренебречь разницей между истинным распределением и нормальным распределением.

Это нестрогий подход, и его есть, за что покритиковать, но на практике, если за H1 мы будем брать какое-то другое распределение, то по критерию отношения правдоподобия у нас часто будет наблюдаться статистически значимое различие между H0 и H1

Угу, только выводы будут зависеть от мощности, то есть от размера выборки. При этом нормальных распределений в природе практически не существует, поэтому вопрос сводится тупо к размеру выборки

Одинаковость (идентичность) никак не доказывается, а для эквивалентности (различия не больше заданной величины) есть подход, основанный на доверительных интервалах

фриквентистских? байесовских? Это история про перекрывающиеся доверительные интервалы? Если да, то, мне кажется, я читал про это — тоже достаточно мутная история. Ну и я не встречал в научных статьях (по лингвистике).

В клинических исследованиях норм набутстрепить ДИ для разности медиан или частот, например

Это не мутная тема, все по рекомендациям лучших людей из FDA и EMA

Вообще вопрос, кто практикует бутстрап, как оно в практике отзываетсся?

Я использую, все хорошо, а что может пойти не так? Тут сразу и свобода от предпосылок стат. методов, и оценка размера эффекта

ну мой извечный вопрос , оценивали по малой выборке, получили результаты. В масштабировании результаты совмем другие. И вот из моих наблюдений т тест дает более предсказуемые результаты чем манн витни.

ну при соблюдении общей гигиены тестирования

я пользуюсь при оценке доверительных интервалов для нелинейных моделей... других способов и не знаю даже ... у Мастицкого хорошо описан бутстреп в книге

наврал про книгу((  ее не Мастицкий писал

Да я с теорией вопроса знаком.
Но я вот практические решения вынужден принимать по результатам тестов.
Я готов что тестовые резлультаты при нормальной гигиене теста не совпадают с масштабированием. Меня интересует как это часто у кого бывает.
Условно я т тесту верю больше

мне кажется на поставленный вопрос можно легко ответить с помощью моделирования, нет?

я имею ввиду синтетические данные с заведомо известными параметрами

Ну там то все по науке работает. +/-

и я объяснения могу найти где и что получилось или нет. Но это все послезнения