MaxGraey
Да, а кто будет эти метаданные строить и связывать с WebGL элементами? Но мысль уже в правильном направлении идет
Читалки полагаются на системное дерево элементов и заложенные механизмы (фокус, навигация, слежение за курсором). Если будет отрисовка в канвас, то они ломаются. Распознавание образов не поможет понять, что контрол - метка, кнопка или поле ввода.