Не только. Либы обновляют и сами по себе а не только при смене компиятора
При таком раскладе есть вероятность, что все пересобирется. Хуже когда условно собрались 10 либ, а на 11-й компилятор заявляет, что данная конструкция в коде не поддерживается, и ты откатываешься по всем пересобранным пакетам на предыдущую версию. Причём в силу особенностей архитектуры, одна итерация сборки может занимать часов 5. Развлекуха та еще