а если я что-то компилил из исходников, то remove точно так же делается?
нет, придётся уже руками вычищать (поэтому и не рекомендуют собирать из исходников на живой системе)
хорошо, если у вас сохранились надписи на экране, что куда ставилось.
если будет сомение, ваш это файл или не ваш, попробуйте сказать ему rpm -qf путь-имя-файла
оно или скажет к какому пакету файл принадлежит, или не скажет :)