Redan förra helgen klev 75-årige Nuzman tillfälligt av sin post, men i dag meddelade han resten av kommittén att han ska fokusera på rättsprocessen och därför inte återvänder.
I brevet till kommittén, som nyhetsbyrån Reuters tagit del av, menar han på att han är helt oskyldig.
Cirka 20 miljoner kronor
Brasilianska federala åklagare har sagt att Nuzman betalade cirka 2,5 miljoner amerikanska dollar (dryga 20 miljoner kronor) i mutor för att få stöd för sin kandidatur.
Rio valdes till OS-stad år 2009.