Bah théoriquement s'il ne connait que ton nom de compte et ta réponse secrète, il ne peut pas faire grand chose.
Le mot de passe est le plus important dans les identifiants. Sans mot de passe, connaître ta réponse secrète est totalement inutile. Car s'il essaie de changer ton mot de passe, ça passera soit par email, auquel cas il tombera sur un os ; trouver le mot de passe de ton adresse mail, soit par téléphone, ce qui est d'autant plus improbable.
En bref non il ne peut rien faire avec ça, cependant je te conseil tout de même de changer ta réponse secrète et/ou le mot de passe de ton adresse mail. On est jamais trop prudent.
J'espère t'avoir éclairé.