Ce n'est pas anormal mais très chiant (j'ai déjà eu le cas).
L'OS fait une demande de lecture/écriture sur tous les périphérique et pour peu qu'il y ai un disque peu réactif ou en veille, le système va attendre une réponse du disque en question et il peut y avoir des temps de latence.
Si c'est un soucis de disque peu réactif qui se met en "veille"/qui pose sa tête de lecture sur sa piste, tu peux utiliser un programme qui va écrire toutes les x secondes/minutes un mini fichier pour empêcher le disque de "dormir".
NoSleepHD:
https://www.softpedia.com/get/System/Hard-Disk-Utils/NoSleepHD.shtml
Si c'est ça ton soucis tu seras vite fixé.