
Китайский язык мандарин и фрукт — этимологически родственные.
Слово восходит к португальскому «mandar» — «приказывать», а оно от древнеиндийского mantrī́ «советник, министр». Мандаринами колонизаторы называли высших чиновников Китая.
Потом значение трансформировалось в название фрукта, потому что эти цитрусовые в те времена везли только из Китая.
Ну а язык, видимо, изначально использовался в китайском дворянстве и уже позже стал общеупотребительным.