En fjärde person är sedan tidigare gripen i Frankrike.
Enligt tyska åklagare ska männen ha planerat att utföra två självmordsattacker i centrala Düsseldorf samt flera andra attacker med skjutvapen och explosiva medel i syfte att döda så många människor som möjligt.
De män som uppehållit sig i Tyskland ska ha gripits på tre olika håll i landet: i delstaterna Nordrhein-Westfalen, Brandenburg och Baden-Würtemberg.
Det är oklart hur långt männen ska ha kommit i sina planer som uppdagats sedan den person som gripits i Frankrike avslöjat deras avsikter för franska åklagare.
Enligt tv-kanalen ZDF skulle den planerade attacken genomförts i gamla stan i Düsseldorf. De män som greps i Tyskland är syriska medborgare mellan 25 och 31 år. Den gripne i Frankrike kommer att begäras utlämnad till Tyskland.
Uppdrag från IS-ledning
Två av de gripna ska, enligt åklagaren, ha anslutit sig till Islamiska staten (IS) under våren 2014.
Av personer på ledande nivå inom IS ska de ha fått i uppdrag att genomföra en attack i Düsseldorfs gamla kvarter. Senare ska de två ha lyckats övertyga de andra att delta i attentatet.
Attentatsplanerna ska inte ha någon koppling till fotbolls-EM i Frankrike, som börjar nästa vecka, skriver ZDF.