Я уверен (скорее всего, это даже доказуемо), что есть задачи, в которых оптимизирующий компилятор не сможет найти лучшее решение
Разумеется. И супер крутой сиплюсист напишет код, радботающий более быстро (правда не сильно), чем супер крутой жавист. Но ему для этого надо будет в 4 раза больше опыта. С асемблером то же самое, только не в четыре, а в восемь. Поэтому мой вопрос был не о том, можно ли на ассемблерной вставке выиграть, а в том, что за реальный пример там был, что олимпиадники без большого опыта реально выиграли.