Он выдавал себя за автора, но, на самом деле, автором не был.
Правильно
Он выдавал себя за автора, но на самом деле автором не был.
Почему
Если «на самом деле» используется в значении «в действительности», это не вводное слово, обособлять не нужно.
У вводного слова значение «собственно говоря».