Branden bröt ut tidigt på onsdagmorgonen och byggnaden övertändes så snabbt att de boende inte hann vakna, uppger Reuters.
17 personer evakuerades, en av dem fick föras till sjukhus.
De döda personerna uppges vara i åldrarna 25 till 50 år.
Byggnaden, som ligger i Wintzenheim, hade hyrts av en välgörenhetsorganisation som ett semesterboende för personer med inlärningssvårigheter.