Segal inledde sin drygt 50-åriga karriär med småroller i filmer och tv-serier innan genombrottet kom med Mike Nichols filmatisering av Vem är rädd för Viriginia Woolf 1966. Liksom de övriga tre skådespelarna i filmen – Elizabeth Taylor, Richard Burton och Sandy Dennis – nominerades Segal till en Oscar för sin insats. Till skillnad från Taylor och Dennis vann han dock ingen statyett.
Under 1970- och 80-talen följde en lång rad huvudroller mot bland andra Jane Fonda, Goldie Hawn och Barbra Streisand innan de många tv-rollerna i allt från Mord och inga visor till Entourage efterhand tog över.
Han var aktiv in i det sista och spelade under de senaste åtta åren Pops Solomon i komediserien The Goldbergs.
Segal avled i sviterna av en bypass-operation. Han blev 87 år.