Au delà du mur, à chaque fois qu'il y a un mort-vivant aux yeux bleus dans les parages, il semble que le froid s'intensifie, donc on peut s'imaginer que si des milliers arrivent, ils affectent le climat de la région.
Du coup, les longs hivers seraient expliqués par un grand nombre de ces mort-vivants qui vivent loin dans le nord, s'approchent en direction du mur et y restent quelques années avant de disparaître/remonter vers le nord...
Je ne sais pas si mon explication tien la route, mais ça me semble plausible, et coïncide avec le côté "magique" et non climatique des longs hivers.