ilk yapay zekanın geliştirilmesinde büyük bir etkisi oldu. irlandalı göçmen bir baba ve Litvanya yahudisi göçmen bir anne tarafından Eylül 4, 1927 Boston, Massachusetts'da doğdu.
McCarthy son derece zeki biriydi. Bolment Lisesi'ni 2 yıl erkenden bitirdi. McCarthy Kaliforniya Teknoloji Enstitüsü'ne (Caltech) 1944'te kabul edildi.
Matematiğe erken yaşlarda ilgi gösterdi. Gençlik yıllarında Kaliforniya Teknoloji Enstitüsü'nde kullanılan matematik kitaplarına çalışarak kendine matematiği öğretti. Sonuç olarak Caltech'te 2 yıl matematik dersinden muaf tutuldu. Beden eğitimi dersinde başarısız olduğu için okulu askıya alındı. Sonra Amerika Birleşik Devletleri Ordusu'na hizmet etti ve yeniden kabul edildi.
Princeton ve Stanford Üniversitesi'ndeki kısa dönemli atanmalarından sonra McCarthy 1955'te Dartmouth'ta asistan profesörü oldu. Bir yıl sonra, McCarthy Araştırma görevlisi olarak 1956 sonbaharında MIT'de görev yapmaya başladı.
1962'de McCarthy 2000 yılında emekli olana kadar çalıştığı yerde profesör oldu. MIT'teki ilk günlerinin sonunda öğrencileri tarafından çoktan şefkatle "John Amca" diye seslenmeye başlamışlardı.
