Anläggningen, som svarar för en tredjedel av Iraks bränsle, har varit belägrad i tio dagar. Först nu har rebellerna tagit över helt, rapporterar BBC.
Uppgifterna tillbakavisas av statliga medier i Irak som menar att de irakiska styrkorna fortfarande har kontroll över raffinaderiet, enligt CNN.
Striderna har redan lett till bensinransonering. En talesman för rebellerna sade att administrationen av raffinaderiet ska överlämnas till lokala stammar.
Rebellerna, som leds av den extremistiska rebellgruppen Islamiska staten i Irak och Syrien (Isis), har tidigare tagit kontroll över ett flertal oljeraffinaderier i nordöstra Syrien. Men oljeraffinaderi i Baiji anses vara särskilt viktig och strategiskt avgörande för rebellerna att behålla de områden de redan erövrat.
Rebellerna har nu tagit flera städer i landets norra och västra del. Under gårdagen kom uppgifter som tydde på att den irakiska armén nu helt har tappat kontrollen över landets västra gräns. Talesmannen för rebellerna sade att förflyttningen mot Bagdad nu går vidare.