Мы же можем получить позицию в холдоре, потом вызвать интерфейс и удалить элемент, либо сделать другую операцию в фрагменте/активити и далее перерисовать recyclerView. Не знаю, правильно это или нет, но я делаю так. Если не правильно, подскажи как будет правильнее.