ssh-keygen сгенерит тебе пару ключей приватный и публичный
приватный хранишь и никому не даёшь
публичный раскидываешь по хостам, на которые тебе надо по ssh ходить
Можешь ещё подсказать кое-что? В доках гитхаба написано, что надо туда кидать паблик кей, а хероку вообще сама берет из директории, и берет тоже паблик, а куда тогда вообще прайват?