Ключевой момент - откуда вернули-то? С адреса swap'а, начинающегося на b или с собственного адреса? С адреса swap'а забрать средства может либо другая сторона обмена, либо ты сам (зависит от того кто maker, кто taker, и какие условия наступили). Как сказал TonyL - третья сторона там невозможна в принципе, т.к. это HTLC.