одно дело когда пользователь сам запускает говно, которое может ему навредить и знает об этом (и предупреждён), а другое дело, когда в системе есть возможность сделать это молча и не предупреждая
иксы писались во времена, когда пользовательские компьютеры были не способны сами рендерить графику, ибо было мало ресурсов. Поэтому X-server запускался на мейнфрейме, а пользователи по ssh получали отрендеренные окошки для отрисовки
