Dådet skedde i Sagamihara, sydväst om huvudstaden Tokyo.
Personal på institutionen ringde polisen vid 2.30-tiden på natten lokal tid, då en knivbeväpnad man fanns på institutionen.
Mannen, som själv ska ha lämnat över sig till polisen, greps för dådet, där ytterligare 25 ska ha skadats. 20 av dem uppges vara livshotande skadade.
Den gripne är i 20-årsåldern och ska tidigare ha arbetat vid hemmet.