Только обязанности должны быть прямо закреплены в договоре/законе. Однако права могут и не закрепляться, но существовать. В частных отношениях (а отношения по гос.контракту - это разновидность частных отношений) действует принцип "разрешено, что не запрещено", т.е. у сторон имеются права, которые не ограничены законом/договором. Хоть данный принцип прямо и не закреплен в законе, однако выводится из совокупного толкования ст. 1 и ст. 9 ГК РФ (в том числе судебной практикой).
Поэтому право на отмену одностороннего отказа вроде как есть, как оно есть и в обычных договорных отношениях, хотя прямо это право нигде не прописано.
Опять же - Верховный суд подтвердил в том кейсе, что отмена одностороннего отказа состоялась, хотя оснований там тоже не было для отмены.