Non tu ne peux pas changer, j'ai eu le même problème. Mais vois-y une bonne opportunité : Son éloignement le protège des pillages, et tu n'as pas besoin d'aller le voir pour récolter tes impôts (ça se fait tout seul). Du coup t'as même pas besoin de le gérer !
Essaye de conquérir un château avec tes alliés et demande aux seigneurs de voter pour toi quand il faudra choisir son nouveau propriétaire. Du coup t'en feras ta nouvelle place forte et tu penseras même plus au bled paumé.