Сложный вопрос, хз. Если мы например храним дом ноды в виксет, то нам удобно, что удаляются те ноды из виксета, на которые пропали ссылки. Если бы мы хранили ноды в сете и удаляли их из дома, они так бы и висели в памяти, так как ГК бы их не чистил ибо ссылка с сета (тут бы лучше проверить)