Нет. Это как раз устройство, размещенное на одном кристалле с ЦП и ЦП обращается к нему через область памяти (вместо портов ввода-вывода для х86) как к внешнему устройству.
SDK на сайтах производителей - таки почти у каждого свой
Ну у меня под телефон ядро собрано с помощью GCC и ускорение видео, все работает. Рекомендую посмотреть в дерево исходных кодов линукс. Получается что устройств нет, а драйвера есть. И никаких кастомных инструкций.