Enligt ett pressmeddelande från åklagaren rör de sig om en ”högerterroristisk” sammanslutning som bildades i september förra året.
En av de tolv personer som gripits är polis, rapporterar nyhetsbyrån AFP med hänvisning till en källa inom inrikesdepartementet i delstaten Nordrhein-Westfalen. Polisen ska tidigare ha stängts av från sitt arbete på grund av misstankar om kopplingar till högerextremism.
Det är oklart om polisen är en av de fyra huvudmisstänkta.
Alla de gripna är tyska medborgare och de ska bland annat ha kommunicerat med varandra via meddelandeappar.
Tyska myndigheter har på senare tid lagt mer resurser och uppmärksamhet på extremhögern, efter flera våldsdåd. Bland annat mördades den kristdemokratiske politikern Walter Lübcke i somras. Han hade engagerat sig för människor på flykt, och den misstänkte mördaren är nynazist.