Enligt uppgifter till SVT Nyheter ska bråket ha börjat när polisen attackerade ensamkommande flyktingbarn och ungdomar, som huseras i en separat del av lägret.
– Vi hörde att det kom skrik från avdelningen för ensamkommande barn och vi såg tårgasrök, säger Mustafa, en 19-åring flykting från Syrien som har befunnit sig i lägret sen den 19 mars.
Flera av flyktingarna i huvuddelen av lägret försökte då ta sig in till de ensamkommande för att undsätta dem men de blev stoppade av polis som använde tårgas. Flyktingarna ska då ha kastat sten mot polisen som backade undan.
– När vi kom in på deras avdelning såg jag två barn i 15-årsåldern som låg medvetslösa på marken, säger Mustafa till SVT Nyheter.
Vittnen skrev på sociala medier att flyktingarna helt hade tagit över lägret och rivit ner stängsel.
Enligt volontärer som nyhetsbyrån Reuters talat med ska det ha varit oroligt i lägret under de senaste dagarna.
Det är ännu oklart om någon har kommit till skada.
Fler än 4000 flyktingar befinner sig på Lesbos – majoriteten av dem hålls i Moria, som omringas av taggtråd och sköts av grekiska poliser och soldater.
– Det känns som att vi sitter i fängelse. Vi är inte krigsförbrytare, vi är flyktingar men vi blir behandlade som djur, säger Mustafa.