On va dire que c'est un peu borderline, maintenant, vaut mieux effacer que d'être tâté.
Après, et ça n'engage que moi, j'aurais plutôt dit : "j'm'en fous, j'suis pas attiré par les noires" pour éviter l'ambiguïté, mais on n'va pas non-plus instauré un modèle de langage.