Площадь квадрата минус площадь вписанного круга - это получается площадь четырех уголков, делим на 4 - площадь одного уголка. Теперь к половине площади вписанного круга прибавляем одну площадь этого уголка. Для визуального представления по половинке от уголков к краям полукруга. И от этой площади отнимаем площадь образуемую куском большого круга, отсеченного диагональю квадрата. Её мы большой круг с радиусом в сторону квадрата минус треугольник площадью в пол площади квадрата. Профит!