Нашел в чем проблема
Pandas воспринимает csv или excel как набор строк
то есть я заставляю его декодировать 'b'\xff\xfe!\x04>\x04A\x04B\x04>\x04O\x04=\x048\x045\x04 \x00>\x041\x04J\x045\x04:\x04B\x040\x04,''
теперь нужно как-то строки преобразовать в байты