Asıl adı Aram Karaoğlanyan'dır. Bitlis'ten Amerika'ya göç eden Ermeni bir ailenin dört çocuğundan biridir. Kaliforniya'nın Fresno şehrinde doğmuştur. üç yaşındayken babası ölünce, annesi Saroyan'ı ve üç kardeşini yetimhaneye vermek zorunda kalmış, ama işleri yoluna koyduktan beş yıl sonra onları yanına almıştır. Bütün yaşıtları gibi okula başlamıştır fakat müdür odasında dayak yiyerek geçen okul yılları fazla uzun sürmemiştir. Okulu bıraktığında on beş yaşındaydı. Okuldaki insanların sığlığına dayanamıyor, öfkeyle "Bana bir şey öğretmeye kalkmayın" diyordu "Ne öğretecekseniz aptallara öğretin. Ben kendi kendime öğrenirim."
