"A ignorância das pessoas está ultrapassando limites ultimamente" esse comentário descreve perfeitamente a minha reação lendo a maioria dos comentários aqui

Mas vamo do começo. É racismo? É SIM, SEUS BANDO DE LEITE AZEDO
mas antes de explicar, vamos a alguns pontos importantes:
- não existe "racismo com brancos", não aqui e nem numa quantidade consideravel de países. Racismo não é simplesmente você chegar e chamar fulano de preto macaco, e ele te chamar de leite azedo não é equivalente. Racismo é encrustado profundamente nas relações de poder dentro da sociedade, e nos esteriótipos que permeiam a mesma. É você e uma pessoa negra receberem penas radicalmente diferentes pelo mesmo crime, terem chances radicalmente diferentes de sucesso em cada passo na direção do sucesso, ou vocês acham que a falta de pessoas negras em cargos de poder, e o excesso das mesmas em cargos subalternos com baixos salários, é por conta de defeitos inerentes à raça negra? Porque ai já é racismo esteriotipico ces não tão nem tentando disfarçar.
- Pelo que foi citado no ponto 1, negros são minoria SIM aqui, independente de serem mais da metade da população. Na questão de problemas sociais o termo minoria se refere aos desfavorecidos, e não aos menos numerosos. Mas sintam-se à vontade pra falar "ah mas no dicionario tá falando que" as lagrimas de vocês são uma delícia
- Falar "tenho amigos negros" ou "meu _______ é negro/asiatico/etc" não te exime de ser racista. Eu posso muito bem adorar pessoas de uma certa etnia e ainda ser racista com elas, porque racismo não são só atitudes necessariamente negativas, mas também as positivas desumanizantes
- E o sistema é preconceituoso contra pessoas asiáticas também, já que esse assunto veio à tona, não tanto quanto contra pessoas negras, mas o preconceito ta ai também

Mas vamos ao ponto principal: por que "não ter atração por pessoas negras" é racismo?
Eu nem sei porque eu to explicando isso já que Oli já explicou muito bem, mas vamo lá.
Quando você diz que "não ficaria com pessoas negras", você está primeiro estereotipando toda pessoa negra como "não é meu tipo" com base tão somente na cor da pele delas, não somente isso, você não está expressando uma preferencia, não é um "eu prefiro pessoas X", você está excluindo totalmente um grupo de pessoas de sequer terem chance com você, que é totalmente diferente de ter atração somente por homens/mulheres, que possuem diferenças que são diretamente relacionadas à sexualidade. A não ser que você tenha Melanofobia (look it up) a idéia de que nenhuma pessoa negra nunca vai te atrair de forma alguma só pode provir de racismo, mesmo que não seja um racismo consciente da sua parte, porque a idéia de beleza-padrão da sociedade é super racista em si (cabelo loiro, olho azul, pele clara, etc)
Como Oli falou: é a diferença entre "não me atraio por pessoas com olhos castanhos" e "prefiro olhos azuis".