Глаз режет

А мне надо, чтобы меня слушался Debian, а не я его

Скрой ярлык в меню ))

И чтобы разработчики не лажали почти во всех стабильных выпусках

Ну это слегка костыльно, но выход)

Вот этого в Debian не хватает

Как Вы удаляете?

Через Synaptic, apt purge

sudo apt purge firefox-esr

Скачивает epiphany

при выполнении purge?

sudo apt purge firefox-esr                                                                                                                                                            
[sudo] password for dripfeeder:              
Reading package lists... Done
Building dependency tree      
Reading state information... Done
The following packages will be REMOVED:
 firefox-esr*
0 upgraded, 0 newly installed, 1 to remove and 15 not upgraded.
After this operation, 184 MB disk space will be freed.
Do you want to continue? [Y/n]

у Вас какое DE?

Gnome 3.30

честно говоря не знаю что подсказать, т.к я  с таким просто не сталкивался. Возможно, Вы ставили gnome при установке, а в этом случае "тянется" очень много всего  и дефолтный браузер должен чем-то "замениться", но это бредово звучит.

sudo apt purge firefox-esr                                                                                                                                                            SIGINT(2) ↵  1937  00:15:32
Reading package lists... Done
Building dependency tree      
Reading state information... Done
The following packages will be REMOVED:
 firefox-esr*
0 upgraded, 0 newly installed, 1 to remove and 15 not upgraded.
After this operation, 184 MB disk space will be freed.
Do you want to continue? [Y/n]
(Reading database ... 236391 files and directories currently installed.)
Removing firefox-esr (68.6.0esr-1) ...
Removing 'diversion of /usr/bin/firefox to /usr/bin/firefox.real by firefox-esr'
Processing triggers for mime-support (3.64) ...
Processing triggers for hicolor-icon-theme (0.17-2) ...
Processing triggers for man-db (2.9.1-1) ...
Processing triggers for desktop-file-utils (0.24-1) ...
(Reading database ... 236292 files and directories currently installed.)
Purging configuration files for firefox-esr (68.6.0esr-1) ...

zsh: command not found: firefox

вот как-то так)

Ставился ещё в установщике

(у меня павда sid, но роли точно не играет)