Dönemin Yugoslavya'sına yerleşmiş Türk kökenli ailelerden birinin çocuğu olarak Yenipazar'da dünyaya geldi. Futbola Yenipazar Kulübü'nde başladı. Avusturya'da bulunduğu dönemde (1940) FC Wien'de, daha sonraları OFK Beograd, Maçva, Şabat, Sarajevo takımlarında orta saha oyuncusu olarak oynadı.
Yugoslav Spor Akademisi'ni bitirdikten sonra Radniçki ve Sarajevo takımlarını çalıştırdı. Yugoslav Ümit ve B takımlarında antrenörlük yaptı. Çiriç'ten sonra Yugoslav A milli takımı antrenörlüğüne getirildi. Ardından Partizan Kulübü'nde teknik direktörlük yaptı ve takımı 1964-65 sezonunda Yugoslavya Şampiyonu oldu.
1965-66 sezonunda Avrupa Şampiyon Kulüpler Kupası finalini oynayan Partizan'dan ayrılarak Türkiye'ye geldi ve Fenerbahçe'de görev aldı. 4 yıl Eskişehirspor'u çalıştırdı. Gegiç döneminde (1970-71) Eskişehirspor Türkiye Kupası'nı kazandı.
Türkiye'de çalıştırdığı takımlar arasında Adana Demirspor, Beşiktaş, Bursaspor, Fenerbahçe (2 kez), Samsunspor ve Diyarbakırspor yer alır. 1969 ve 1975'de Türk Milli Takımı antrenörlüğü de yapan Gegiç Türk vatandaşlığına da geçti.
Abdullah Gegiç, 84 yaşındayken Haziran 2008'de hayata gözlerini yumdu.
