Был в своё время такой проектик tick-C
https://web.stanford.edu/~engler/tickc.pdf - это не совсем JIT, но убедительное доказательство того, что специализация кода в runtime может давать значительный выигрыш в производительности.
Динамическая специализация на LCC (простеньком компиляторе) уделывала статический код, скомпилированный IntelCC. С тех пор много воды утекло, конечно, на сама идея может продолжать работать: подстановка констант в код может существенно его упрощать и снижать давление на регистры.