Поясню еще раз что нужно сделать.
В панели администратора нужно выдавать права пользователю на просмотр или просмотр + удаление.
Первое решение было таким:
переопределить пользователя с добавлением двух флажков и при методе save
добавлять им права на определенную модель.
Но я столкнулся с проблемой, что при переопределении пользователя у меня админка не реагирует при логине на моих кастомных юзеров, что довольно логично. Тут поднимается вопрос на переопределение юзера при входе.
Второе решение у меня пришло сейчас. Создать отдельную таблицу и просто использовать эти 2 флага.