markup = InlineKeyboardMarkup()
markup.add(InlineKeyboardButton(text='a', callback_data='abc')
message.answer(text='a', reply_markup=markup)
или можно сразу так
message.answer(text='a', reply_markup=[[InlineKeyboardButton(text='a', callback_data='abc']]) # массив в массиве, новый массив в массиве - некст строка