Cuando de borra una referencia, solo se rompe esa unión entre el nombre de la variable y el contenido. Esto no significa que el contenido haya sido destruido. Por ejemplo :
$a = 1;
$b =& $a;
unset ($a);
Nuevamente, sería útil pensar el tema de las referencias como una analogía al comando unlink de Unix.