Mersin idman Yurdu Spor Kulübü, Ziraat Bankası memuru ibrahim Yekta, öğretmen ibrahim Bigam, Gençlik ve Spor il Müdürü Edip Buran, gümrükçü Rauf Süleymaniyeli ve Sami istanbullu, postacı Semih Can ve arkadaşları tarafından 16 Ağustos 1925'te Mersin'de kuruldu. ibrahim Yekta ve arkadaşlarının kulübü kurmalarındaki amaç; Türk gençliğinin, fizik ve moral kabiliyetlerini ulusal ve inkılâpçı amaçlara yöneltmek, yurt müdafaası amaçlarını geliştirmek, beden terbiyesi ve spor yapmasını temin etmekti. Bu amaç doğrultusunda kurulan ve de etkinliğe geçen kulüp çevrede büyük ilgi uyandırdı ve kısa zamanda halkının sevgisini kazandı.
Kulüp ilk başta Mersin Gençlerbirliği adıyla, renkleri kırmızı-beyaz olarak kurulmasına rağmen daha sonraki yıllar kulübün ismi Mersin idman Yurdu, renkleri ise kırmızı-lacivert olarak değiştirilmiştir.
Kuruluşundan itibaren 1949 yılına kadar bölge birinciliğini kimseye kaptırmayan Mersin idman Yurdu, 1944 yılında Ankara'da yapılan Türkiye Şampiyonasında üçüncü olma başarısı göstermiştir.1963–64 sezonunda şampiyon olarak Türkiye 2.Ligine çıkan Mersin idman Yurdu, 2.Ligdeki üçüncü senesinde profesyonel bir kadro oluşturarak şampiyon olmuş ve de ilk defa o yıl (1966–67) Lefter Küçükandonyadis öncülüğünde Türkiye 1.Ligine çıkmıştır.
Tarihinin ilk anlamlı kupası olan Başbakanlık Kupasını da aynı yıl Amatör Küme şampiyonu olan izmir Denizgücü’nü 2–0 yenerek dönemin Başbakanı Bülent Ecevit’ten almıştır. 1967 yılından itibaren aralıksız 7 yıl süreyle 1.Ligde oynayan Mersin idman Yurdu'nun, bu dönemdeki en büyük başarısı 1969–70 sezonunu evinde oynadığı maçlarda mağlubiyet yüzü görmeden ligi 4. sırada bitirmesidir. Takım 1973–74 sezonunda 2.Lige düşmüş, 1975–76 sezonunda ise tekrar yükseldiği 1.Ligde toplam 11 sezon boyunca mücadele etmiştir. , 1982–83 sezonunda evinde oynadığı 17 maçta kalesinde sadece 1 gol görerek bir sezonda kendi evinde en az gol yiyen takım olmuştur.
Kulübün tarihindeki en büyük başarılarından biri de Türkiye'yi Kupa Galipleri Kupasında şimdiki adıyla UEFA Kupasında temsil etmiş olmasıdır. 1982–83 yılında Türkiye Kupası finalde Fenerbahçe’ye elenerek kupayı alamamasına rağmen, Fenerbahçe’nin aynı yıl şampiyon olması ile Avrupa Kupalarında mücadele hakkı kazanmıştır. Eleme maçında Spartak Varna takımına ’de 0–0 ve deplasmanda 0-1’lik skorlarla elenen Mersin idman Yurdu o tarihten sonra düştüğü 2.Ligde bir daha şampiyonluk sevinci yaşayamamıştır.
