Сборка локлаьно потребует огромного кол-ва ресурсов и времени, но даст совсем небольшой прирост производительности даже в икусственных тестах, а в реальных практических задачах тем более. Вот здесь я описывал результаты увеличения производительности Chromium в бенчмарке, собрав ради него Gentoo с макисмальными оптимизациями:
https://nixtux.ru/405 Выигрыш точно не стоил таких затрат времени и электричества на сборку системы. Собирать из портов имеет смысл, если вас не устаривают опции по умолчанию, но не будет такого, что они прям везде не устаривают, где не устаривают, соберете в дополнение к бинарным пакетам.