Je ne crois pas, si mes souvenirs sont bons l'affinité ne disparaît que si tu accomplis des actions qui leur déplaisent personnellement (et que s'ils sont présents dans la colonie), mais les renvoyer n'en fait pas partie 
Voilà un article du wiki concernant l'affinité (je préviens, ça peut spoil si tu veux découvrir par toi-même ce qui fait plaisir ou leur déplaît) https://fallout.fandom.com/wiki/Affinity#Scale