То есть понимая механизм кеширования, можно написать слой абстракции - который задачу бы более-менее решил, но при этом никакой нативной скорости кеша такой раздел бы не имел?
Основная проблема в том, что кэш целиком управляется процессором, именно напрямую в него ты писать не можешь.
Но ты можешь попросить, чтобы данный участок памяти был в нём.
Проблема тут в том, что другие программы выполняемые на этом же процессоре тоже будут обращаться к памяти и процессор будет их обращения к памяти кэшировать тоже, скорее всего перестав кэшировать твой участок памяти.