Shepp 24 Mayıs 1937 tarihinde Fort Lauderdale, Florida'da dünyaya gelmiş ancak Philadelphia, Pennsylvania'da büyümüş ve tenor saksafona odaklanmadan önce orada piyano, klarinet ve alto saksafon çalışmıştır (zaman zaman soprano saksafon da çalmaktadır).
Shepp en çok altmışlardaki tutkulu Afrikamerkezci müzikal fikirleri ile tanınmaktadır ve Afrika kökenli insanların karşılaştıkları haksızlıkları vurgulamıştır. Aynı zamanda New York Contemporary Five ve Cecil Taylor, John Coltrane gibi çağdaşlarının bulunduğu "New Thing" ile ortak çalışmalarından ötürü isim yapmıştır.
