Например потому, что это жёстко привязывает адаптер к конкретному активити или фрагменту. То есть, адаптер нельзя будет использовать в другом месте.
Кроме того, такая практика открывает окно опасных возможностей.
То есть, когда передали свой фрагмент, то это ещё терпимо (хотя все равно неправильно), потому что они с адаптером сдохнут одновременно.
Но тут же возникает искушение передать чужой фрагмент. И тогда начинается интересное.
В любом случае проблемы возникнут, если этот фрагмент из адаптера передать в какой-нибудь Handler, который продолжит жить после уничтожения фрагмента или активити.
В общем, не делайте так, это по-любому плохо 😏