Han har spelat med många av de största jazzlegendarerna, som Charles Mingus och Dizzy Gillespie, och belönades med en Grammy 1987 för albumet Little Symphony på vilket han spelade alla instrument själv. Mest känd är han kanske för att ha varit en av de första inom jazzen som fusionerade den med musik från Nordafrika och Mellanöstern.

Han föddes som William Emanuel Huddleston och gjorde sig ett namn i Detroits jazzscen på 1940- och 1950-talet innan han flyttade till New York 1960. Han moderinstrument var tenorsaxofonen men med tiden lärde han sig behärska även fagott, oboe och flöjt liksom träblåsinstrument från andra delar av världen.