слой с режимом наложения color тонирует изображение, а маска обрезает этот слой с тонировкой
Color на накладывается ни на что, а прямоугольник просто обрезается альфа-маской. Соответственно, если поставить Color, цвет у прямоугольника пропадет (на белом фоне). А без режима наложения просто меняется цвет изображения как и надо.