есть SikuliX она умеет двигать мышку не только по координатам, но и распознавать графические элементы, т.е. работать не только с браузером, а язык там jpython, компилируемый питон
Не jpython, а Jython. Но не суть. На самом деле, на обычном питоне есть pyautogui, который умеет юзать OpenCV для распознавания картинок. Говорят, в этом он хорош. Сам не пробовал.