Il me semble bien que oui.
D'une, l'experience acquise dans une compétence permet d'augmenter ton expérience générale (et donc le niveau de ton personnage).
De deux, plus une compétence augmente, plus elle est efficace. Les perks ne font office que de bonus ou bien de pouvoirs à débloquer (pouvoir augmenter une armure magique, pouvoir viser avec un arc...).