Zarkasih, även kallad Mbah, som greps förra helgen har lett islamistgruppen sedan 2004, enligt polisen.
Samma dags greps Abu Dujana, ledaren för Jemaah Islamiyahs specialstyrka, sade chefen för Indonesiens anti- terrorenhet enligt nyhetsbyrån AFP.
USA ser Jemaah Islamiyah som al-Qaidas sydostasiatiska gren.