для каждой точки ходишь в цикле по её соседям
собираешь с соседей нормали и получаешь косинус угла между своей нормалью и нормалью соседа
складываешь полученный результат кучу
после, всю эту кучу делишь на количество соседей, так ты получаешь усредненное значение
возводишь это значение в степень большую
получаешь свою маску