C'est toujours le client qui se connecte au serveur (par définition des mots clients et serveur).
Si tu veux te connecter à A depuis B, il faut donc un serveur ssh sur A et un client ssh B.
Si tu veux te connecter de A à B, et de B à A, il te faut un client ET un serveur sur les deux machines.
Voilà tout.