Tu peux insérer les media-query dans la balise link, comme ceci :
<link rel="stylesheet" media="screen and (max-width: 640px)" href="smallscreen.css" type="text/css" />
Ça te permettrait de charger une css spécifiquement pour les écrans de 0 à X, puis une autre feuille de style de X à ++
En écrivant tes queries convenablement de manière à ce qu'elles s'excluent l'une l'autre, tu n'auras à chaque fois qu'une feuille de style chargée à la fois. 