Il y a pas que l'absence du aux missions. Il y a l'astreinte très forte (être appelé au milieu de la nuit et partir loin, pour une durée indeterminee), le secret (a part dire, je suis commando et je vais au boulot, tu pourras pas dire grand chose), le risque de revenir blessé lourdement (ou de pas revenir, même si à mon sens la première option est plus dur).
Donc si tu as une copine/femme, faut qu'elle comprenne qu'elle n'est pas seulement en couple avec toi, mais avec toute une institution et des valeurs qui sont bien plus grandes que ça.
Après hors mission, c'est l'entraînement permanent, donc les horaires sont pas optimisés pour la vie de couple. Les Forces Spéciales (et à fortiori le service action), c'est le corps de métier le moins pensé pour la vie privé. Ta famille, c'est tes camarades, tes supérieurs, tes hommes, c'est aussi pour ça que c'est tant prisé : c'est une aventure humaine qui existe nul part ailleurs.
Je dis pas que tu peux pas te marier, avoir des gosses. Mais ça requiert une stabilité émotionnel béton, et de trouver un équilibre avec ta moitié 
Même si le taux de divorce dans les unités spéciales est élevé (1/3), il y a des couples pour qui ça roulent, donc faut pas partir défaitiste et attendre de trouver LA bonne
Pour finir, je dirais que c'est à tes proches (ta famille en l'occurence je présume ?) aussi d'accepter ton choix, et de faire de leur mieux pour te rendre la vie plus facile. Le service rendu à la nation (donc à eux aussi) en vaut la peine, et une fois la retraite operationel prise, tu devras alors les remercier d'avoir été la pour toi 