Mais Malcolm X resta fidèle à une action tournée de façon privilégiée vers le peuple noir. Il refusa aussi de condamner la violence des opprimés, et eut des paroles assez dures pour les tenants de la non-violence, qu'il accusa d'encourager à la soumission. C'est ainsi le cas dans son célèbre discours du 3 mai 1964, peu après son retour de la Mecque, The Ballot or the Bullet35, où il menace de recourir à la violence, et traite certains politiciens blancs de crackers, un terme péjoratif anti-blanc. Dans le même discours, il déclare :
« Si l'homme blanc ne veut pas que nous soyons contre lui, qu'il cesse de nous opprimer, de nous exploiter et de nous dégrader. Que nous [les noirs] soyons chrétiens, ou musulmans, ou nationalistes, ou agnostiques, ou athées, nous devons d'abord apprendre à oublier nos différences. [...] Nous allons être forcés d'employer le vote ou la balle. [...] Je ne me considère même pas comme un américain. Je ne suis pas un Américain. Je suis l'une de 22 millions de personnes noires qui sont les victimes de l'Américanisme [...] Il y aura des cocktails Molotov ce mois-ci, des grenades à main le mois prochain, et autre chose le mois suivant. [...] Ce sera la liberté, ou ce sera la mort36. »

