Если важен результат - бери Гугл клауд (или любую другую готовую либу под свой ЯП, которых десятки) и вперёд.
Если тебе важен процесс, не пытайся сам сделать все, начни с того что возьми готовый датасет, готовый код и просто обучи одно распознавать другое. Уже на этом этапе вспотеешь. Тебе скорее всего нужен IAM-OnDB датасет, но можешь и с мниста начать.))) Энивей - прежде чем что то сделать - гуглишь как это сделали другие и обезьянничаешь.