Да вообще -O3 использовать глобально плохая идея. А вот в lto ничего плохого нет. Ни разу не сталкивался, что бы lto что-то ломало.
glfw творил фигню, при сборке с lto, а адресс санитизер говорил что там лик, хотя его нет;
часть lvm2 тупо не собиралась;
и ещё что-то точно было не помню.