Зачем тебе хранить данные именно в ссылке, почему ты не можешь хранить их в структуре?
Представим, что у тебя есть слайс. И тебе надо взять от него кусок, скажем (2..100). Если ты хранишь длину перед данными, то придётся копировать все элементы с 2 до 100 в новый слайс, потому что ты длину не отдельно хранишь.