Pour les persos que tu cites hormis Yotsuyu, je pense que c'est surtout parce qu'il ne sais pas trop si ce sont des alliés ou des ennemis qu'il évite de taper trop dessus. Surtout quand il font partie de sa famille adoptive. 
D'ailleurs pour Jobin, il a promis à Tsurugi de ne pas utiliser son stand sur lui, c'est pour ça... 