Non, sur tout le monde, avec autorisation de voter pour les autres et interdiction pour soi. 
Pour éviter l'absence quasi totale de vote pour ne pas donner de voix à l'adversaire, pourquoi pas ne pas admettre ceux qui ne votent pas ? (du genre, j'ai le droit de voter pour quelqu'un d'autre, mais si je ne vote pas, je suis recalé d'office).