Tout se passe dans ton CSS:
Tu tapes dans ton hlm tes liens avec les balises d'ancres, dans une liste de préférence s'il s'agit d'un menu:
<ul>
<li><a href=""></a></li>
etc.
Dans ton CSS, le bur sera de transformer tes liens en "block" et d'ainsi pouvoir leur attribuer une image de fond en statut normal (a), une différente en statut visitée si nécessaire(a:visited), suvolée (a:hover), et active (a:active).
http://css.alsacreations.com/Construction-de-menus-en-CSS/Creer-des-menus-simples-en-CSS
Voilà pour la mise en place
bon courage