Motdemonstranter ropade slagord vilket ledde till att partiet inte kunde börja sitt torgmöte.
Två blev bortförda och iväg körda av polisen.
– De två störde för mycket och lyssnade inte på våra tillsägelser. Vi körde iväg dem en bit och det kommer upprättas en anmälan om brott mot ordningslagen, säger Mats Öhman, polisens presstalesperson.
Resten föstes in på Köpmangatan där de fortsatte sin protest och skanderade ”inga fascister på våra gator”.