Допустим, внутри цикла for (int i = 0; i < n; i++) у нас тело, выполняющееся за 1 инструкцию. Если n = 2^40, то будет выполнено 3 * 2^40 инструкций (ведь ещё будут выполняться инкремент и сравнение с джампом). Если мы выделим память для 2^20 инструкций и замостим её одной инструкцией тела цикла, ну и где-то рядом инкремент и сравнение с джампом будут выполняться всего 2^20 раз за всё время, то получим следующее:
На взятие памяти и её замощение с запасом пусть будет 2^30 инструкций, будут выполняться те же 2^40 инструкций с оверхедом 2^21 инструкций из-за итераций, итого где-то 2^40 с тележкой инструкций выполнено вместо 3 * 2^40 инструкций, ну и памяти занято, скажем, 40 мегабайт. Допустим, мы готовы (мы считаем её выгодной и оверхед по памяти нам не жалко) делать такую оптимизацию, если n >= 2^40, причём n определяется только в рантайме. Так вот. Можно ли такое сделать в C++ и как?

Наверное -funroll-loops это то, что тебя интересует

Компилятор это за тебя сделает

А ты кучу всего не учел

(кэш инструкций)

У гцц там есть какието нетривиальные оптимизации типа поменять порядок обхода  динамики в мнгомерном пространстве,

Не думай что компилятор тупой

после того, как я увидел, с какой реально скоростью компьютер щелкает квантово-химические задачки, я перестал париться из-за циклов

Я думаю начать осваивать нейронные сети, а там мне всегда нужно больше вычислительной мощности (чтобы я мог себе позволить более хорошее обучение).

К тому же количество инструкций дает 0 инфы о производительности и времени выполнения

Учись в автовекторизацию лучше

Это что? Это о чём?

sse, avx

Хотя авто- не про это

Это написать код так чтобы компилятор об него не споткнулся при попытке применить avx512

Хммм

Хмм

А что это?

sse, avx, avx512

Наборы векторных инструкций

Хммм