С матлабом не знаком, можно руками посчитать вектор нормали, если есть алгебраическое уравнение для сигма, потом закодить его (я полагаю) как функцию. Квадратные скобки в разностной формулировке идейно простая операция (разность в соседних узлах), но конкретная реализация зависит от разностной схемы