Si ça peut te rassurer, j'ai atteint un équivalent de N3 relativement rapidement, mais j'ai longtemps été bloqué sur ce niveau malgré un apprentissage des plus réguliers (mais admettons le, assez léger) et un an au Japon.
Ton objectif était atteignable avec un N3, mais comprendre les réponses, à savoir un japonais courant, à mon avis ça demande plutôt un N2, et encore tout dépend de ton interlocuteur. Personnellement, il y a des gens que je comprends sans problème, et d'autres je bite rien de ce qu'ils disent, sans forcément parler des vieux édentés qui mâchent leur mots.
Pour la grammaire N2, c'est compliqué dans le sens où tu commences à apprendre des expressions nuancées d'autres expressions que tu connais déjà, tu affines ton langage. Sauf que ce sont des expressions peu utilisées et donc difficile à retenir puisque tu ne les rencontres pas souvent, et du coup tu ne les utilises pas souvent non plus vu qu'elles servent à exprimer des sentiments bien particuliers.