Tout simplement.
Faut pas oublier que les populations d'immigrés viennent principalement des colonies (évidemment, ça ne concerne pas l'Australie ou les États Unis qui sont des nations d'immigrés ayant massacré la population locale...).
Or le Japon à l'ère de colonies ben.... Ils étaient à la ramasse militairement parlant (et pas que mais c'est un autre sujet).
Donc pas de colonie = pas de noirs, arabes, indiens ou tout ce que vous voulez. Bien sûr il y en a, surtout avec la mondialisation et les facilités de transports d'aujourd'hui, mais nettement moins que dans d'autres pays comme les anciens pays colonisateurs.