Karagümrük'te oynadığı futbolla adından söz ettirdi. 1953'te Havagücü'nden Fenerbahçe'ye transfer olan Naci Erdem, bu forma altında 4 lig şampiyonluğu yaşadı. 30 kez milli formayı giyme başarısı gösteren Erdem, 2 kez de kaptanlık yaptı. Fenerbahçe'de ise yıllarca takım kaptanı olarak görev aldı.
1964'te Galatasaray'a geçti ve bu kulüpte 1 kez Türkiye Kupası kazandı. 1965'te futbola veda etti. Futbolculuk yaşantısının ardından antrenör ve ilk kulübü olan Karagümrük'te bir dönem başkanlık yapan Erdem, istikrarlı yapısıyla hatırlanır.
Defansta tekniği, hava toplarındaki başarısı ve markajıyla dikkati çekti. Oyun yönetimi ve hazırlamasının yanında gol yollarındaki ara paslarıyla da ün yaptı.
