Enligt Obama var det den första direktkontakten mellan ledarna för USA och Iran sedan 1979. Förhållandet mellan de båda länderna har varit frostigt ända sedan den iranska revolutionen under ayatolla Khomeini.
Även Rohani har bekräftat att de båda har talats vid – genom att lägga ut ett meddelande på Twitter.
Obama sade efter samtalet att han tror att det går att komma fram till en politisk lösning av konflikten kring Irans omstridda kärnkraftsprogram. De båda presidenterna ska redan ha utsett team som ska försöka arbeta fram en överenskommelse.
Obama säger att han ser Irans nya regering som en ”unik chans”.
Han tillade att USA kommer att samråda nära med sina allierade, inklusive Israel – som betraktar Irans kärnkraftsprogram som ett hot mot landets existens.
Det är ett utspel från Irans president Hassan Rohani som har fått isen att börja smälta och turerna kring Irans kontroversiella kärnenergiprogram har präglat samtalen i maktens korridorer i FN:s högkvarter under den pågående generalförsamlingen.
– Vi är fullt beredda att engagera oss seriöst i processen mot en framförhandlad och ömsesidigt acceptabel uppgörelse och vi gör det i god anda och med ett affärsmässigt sinne, sade Rohani under sitt besök i New York.
Rohani har tidigare sagt att han tror att en uppgörelse kan nås inom tre till sex månader.