Как по мне, плюсы перевешивают минусы.
Магия не такая уж серьёзная.
Идея вполне хорошо поддерживает работу с ним.
Плагин/библиотека нужны только при компиляции.
Самые проблемные вещи будут только если использовать экспериментальные функции (superbuilder, delegate).
Но если использовать для уменьшения текста в исходном коде (скрыть конструкторы, геттеры, сеттеры, equals, tostring), то никаких проблем не встречается.
С рефакторингом особых проблем не встречал. Только когда используется allargumentsconstructor и меняется состав свойств.