я это делал сто лет тому назад, когда в типографии работал. Насколько я помню на изображении 300 dpi должна быть обтравленная векторная плашка (для удобства можно покрасить любой другой отличающийся цвет, но чаще юзают черный и отдельно приписывают, что это именно УФ-лак) размер-в-размер в люстре. 100% совмещения добиться очень трудно, бывают расхожения на полмиллиметра-миллиметр. Работай с этим примерно, как с пантоном)
Так я так и сделал, обтравленные фотки загнал в фш, постеризовал их до силуэта, в люстре векторизовал и подчистил мусор. Создал копию брошюры в индизайне, в этой копии оставил только фото и поверх наложил вручную на каждую фотку векторный силуэт . Отдал в препресс, мне говорят, не сходится уф лак с картинками