En fait on se garde l'exposant qui devrait coder le -127 pour la notation dénormalisée.
Généralement, on écrit les nombres en normalisé, c'est à dire en notation scientifique : (2^exp) * (1,mantisse), le 1 étant implicite puisqu'en notation scientifique en binaire, le chiffre avant la virgule ne peut qu'être 1 (s'il est de 0 on n'est plus en notation scientifique, par définition).
En revanche, on se garde l'exposant à 0 (ou -127) pour les nombres dénormalisés. Dans ce mode, la convention est de ne plus écrire en notation scientifique, donc il y a un 0 et pas un 1 avant la virgule, ce qui permet de représenter l'infiniment petit. On utilise aussi ce mode pour représenter les valeurs particulières (NaN et inf comme le dit godrik).