В том, что паспорт - это сервер oauth который нужен для подклбчения к нему из других сайтов/приложений. То есть чел регистрируется на твоём сайте, в админке создает код доступа, и после этого по этому коду авторизует своё приложение по oauth.
Для админки это оверхед.
Для них надо передать логин с паролем и получить токен доступа в ответ.

Представь что тебе нужно купить хлеб.

JWT/sanctum: идешь в магазин, покупаешь хлеб, возвращаешься домой.

Passport: идешь в магазин, там говорят сходить в другой за пакетом, ты идешь в другой, возвращаешься в первый, даешь пакет, тебе продают хлеб, возвращаешься домой.