Concrètement pour moi c'est une réalité, ça ne veut rien dire pour le niveau, enfin j'exagère, disons plutôt que c'est très vague.
Déjà tout simplement je vais prendre juste un élément :
le test porte sur la grammaire, la compréhension, et l'écoute. Ok, et l'expression?
S'exprimer, formuler une phrase de manière compréhensible et naturelle, c'est aussi (voir plus) compliqué que de comprendre ce que dit son interlocuteur, et le test ne le mesure pas.
Je pourrais prendre aussi d'autres exemples mais celui ci me semble le plus flagrant.
Néanmoins, le test est un test officiel du Japon donc ça constitue malgré tout une référence là bas, notamment envers les employeurs.
Mais bon, si on peut arriver à l'entretien je pense que ça passe à la trappe et le niveau réel est vite jugé.