Den officiella palestinska nyhetsbyrån Wafa rapporterade att dussintal moskébesökare skadades i polisens insats.
Händelsen ledde till en våg av palestinska protester och fördömanden av våldet. Utrikesministrarna i Jordanien och Egypten har båda gått ut och fördömt det interäffade. I Gaza uppmanade islamiströrelsen Hamas till protester.
Enligt Israels militär har flyglarm som varnar för inkommande raketer hörts i israeliska samhällen nära Gazaremsan.
Det är ännu inte klart vad som utlöste våldet vid moskén. Den israeliska polisen uppger att de använt våld för att få ut personer som befann sig i moskén med fyrverkerier, stenar och pinnar. En polis ska ha träffats av en sten och skadats och dussintals palestinier ska ha gripits.