Я тут недавно (в связи со своей учёбой) читала исследование, сделанное на выборке людей, переехавших в чужую страну во взрослом возрасте.
В нём был отмечен следующий эффект: среди людей, одинаково хорошо сдавших языковые тесты и аудирование, в обычном устном общении больше проблем с пониманием возникало у тех, кто:
1. был недоволен переездом, не нравилась страна, сильно тосковал по родине
2. чувствовал себя очень неловко, когда чего-то не понимал, испытывал ощутимый стыд в таких случаях, боялся в такую ситуацию попасть.
(Это при прочих равных)
Я была даже немного удивлена, что понимание оказалось связано не только с уровнем знания языка и суммарным опытом общения на языке.
Бывает, что действительно "не хочется воспринимать чужой язык", видимо (только не уху, а мозгу).
Конечно, к Вам это может не иметь никакого отношения вообще.
Просто подумалось, что можно ещё поискать какие-то косвенные причины, не связанные напрямую с владением английским.