Y'a pas spécialement d'astuce, ils peuvent se balader un peu partout s'ils n'ont plus de territoire. Il est probable qu'ils finiront tous par rejoindre une autre faction, tu auras alors un message te disant que la faction swadienne n'existe plus.
En bref, te prends pas trop la tête à les traquer, ca finira par se faire tout seul.