Je m'auto répond car ça peut sûrement aider les uns ou les autres.
Ayant constaté que la problématique venait du temps nécessaire pour rassembler les hommes et femmes valides et armés, j'ai tout simplement posé des tours de guets sur les sommets des alentours. Quatre bien placées suffisent largement.
Une fois ceci fait, j'ai même pas besoin de murs. Une bonne baston et c'est réglé.