Kuruluşu 8000 yıl öncelerine Yeni Taş Çağı'na dayanan Tarsus'un, adını Kent Tanrısı Sandon'dan (Baal Tarz) aldığı bilinmektedir.
Tarsus'un ismi ve kuruluşu hakkında, mitolojilerde ve eski yazarların anlatımlarında çeşitli bilgiler vardır. Bunların hemen hepsi Roma Çağları'nda, özellikle Ağustos döneminde ortaya çıkmıştır ve hiçbiri tarihi bir gerçek olarak kabul edilemez.
Mitolojiye göre, Antik Çağlar'da Tarsus Çayı'na, Kilikya'nın yerli halkı Cydnos adını vermiştir. Cydnos, mitolojide nehir tanrısına verilen isimdir. Azra Erhat, Cydnos için şöyle yazar:"Kilikya'da bugün Tarsus Çayı diye bilinen ırmağın tanrısı. Ana tarafından lapetos'un torunu sayılır. Cydnos'un Parthenios adlı bir oğlu olduğu ve Cydnos Irmağı’nın denize döküldüğü yerde bir kent kurup ona Parthenia demiştir. Burası da bugünkü Tarsus'dur."
Mitolojideki Pegasus (kanatlı uçan at) yada Bellerofontes, Kilikya ovasında yolunu şaşırmış ve Tarsus’un bulunduğu yerde ayağı sakatlanmış olduğundan kente Latince ayak tabanı anlamına gelen Tarsos adı verilmiştir.
Diğer bir efsaneye göre kentin kurucusu eski Kilikya Tanrısı Sandon ile bir tuttukları Herakles'dir. Herakles'in resimleri MÖ 4. yüzyıla ait Tarsus sikkeleri üzerinde bulunmaktadır.
Antik gezgin ve coğrafyacı Strabon, "Coğrafya" kitabında kentin kuruluşuyla ilgili olarak:"Tarsos'a gelince o, bir ovada uzanır. lo'yu araştırmak üzere Triptolemosla birlikte dolaşan Argoslular tarafından kurulmuştur." şeklinde bir bilgi verir.
Bir efsaneye göre, bu kentin kurucusu Perseus'dur. Mitolojinin kahramanlarından biri olan Perseus, Hitit döneminde Andrasos olarak bilinen bir köyün yerinde Tarsus kentini kurmuştur.
Diğer bir efsaneye göre Tarsus, Tarım Tanrıçası Demeter'in oğlu Triptolemos tarafından kurulmuştur. Antik Çağ'da Tarsus önemli bir tarım merkeziydi ve bu özelliği antik Tarsus sikkelerinde betimlenmiştir.
Tarsus adı ve kentin Kilikya Kralı Syennessis'in yönetim merkezi olduğu, ilk defa MÖ 401 yılında Ksenephon'un "Anabasis" kitabında belirtilmektedir. MÖ 5. yüzyılın ikinci yarısından itibaren Tarsus’a ait sikkeler üzerinde, kentin ismi gerek Aramice ve gerekse Grekçe yazı ile Tarz ve Terzi şekillerinde görülmektedir. Tarsus'un bu şekilde bilinen adına çok daha önceleri Asur kaynaklarında rastlanılmaktadır. Asur kaynaklarında, önce Kilikya'nın merkezi olarak bildirilen Tarsus, Asur Kralı 3. Salmannassar (MÖ 859-825) ve Sanherib'e (MÖ 704-681 ) ait belgelerde Tarzi şeklinde anlatılmaktadır.
Gözlükule Höyüğü'nde yapılan kazılar, bu yörede ilk yerleşmenin Yeni Taş Çağı dönemiyle başladığı ve Orta Tunç Çağı'na değin kesintisiz sürdüğünü ortaya koymuştur. Bir süre Asur egemenliğinde kalan yöre, daha sonra Persler'in, MÖ 333'te ise Alexander'in (iskender) yönetimine geçmişti. MÖ66'da Kilikya bir Roma vilayeti olunca, Tarsus'da buranın merkezi durumuna getirilmiştir. Kent, önceleri Tarsos adıyla anılmış, sonradan bu ad Latince'de Tarsus olmuş ve zamanımıza kadar gelmiştic63Tde Araplar'ın üstünlüğünü kabul eden Tarsus, daha sonra Bizanslılar ve Araplar arasında sürekli el değiştirdi. 965'de Bizanslıların, 1082'de Selçuklular'ın, 109Tde Haçlılar'ın eline geçen Tarsus,1516'da Yavuz Sultan Selim tarafından Osmanlı topraklarına katılmıştır. Osmanlı imparatorluğu zamanında Adana'ya bağlı olan Tarsus, 1832 yılında Mısır Valisi Mehmet Ali Paşa'nın oğlu ibrahim Paşa kontrolüne geçer. 1839 yılında tekrar Osmanlı imparatorluğu’na katılan Tarsus, yeniden Adana vilayetinin kazası olur ve 1933 yılında içel’e bağlanır.
Tarsus bu dönemde büyük bir gelişme gösterdi. Tarım ve ticaretin yanı sıra, Cydons'un yatağı taranarak büyük gemilerin bu akarsuda sefer yapmalarının sağlanmasıyla, Doğu Akdeniz, deniz ve karayollarının birleştiği büyük bir ticaret ve kültür merkezi haline geldi. Strabon, Tarsus'daki kültür yaşamı hakkında oldukça ayrıntılı bilgiler vermektedir. Strabon, birçok filozof, dil bilgini ve şairlerin Tarsus'da yaşadığını, onların kültür hayatına olan etkilerini, her konuda büyük bir gelişme içindeki Tarsus'un bir bilim ve üniversite kenti olduğunu, halkın felsefeye ve diğer bilim dallarına büyük ilgi gösterdiğini ve bunları öğrenmeye istekli olduklarını; Tarsus'un bu konuda iskenderiye ve Atina'yı geçtiğini yazmaktadır. Strabon'dan, Tarsus'da eğitim görenlerin yerli halktan olduğunu ve yabancıların nadir olarak geldiğini, eğitimini bitirenlerin bir kısmının yabancı ülkelere giderek orada eğitimlerine devam ettiklerini öğreniyoruz. Ayrıca Tarsus'da stoik filozoflardan Antipator, Arhedemos, Nestor, Athenedoros kentleri dolaşarak okul açan Phutiades ve Diogenes, edebiyatçılardan Artemidoros ve Diodoros, Dionysides'in yaşadığını yazar. Strabon Tarsus hakkında verdiği bilgilerin sonunda Roma kenti, Tarsuslu alimleri iyi ispat edebilir; çünkü, Roma gerek Tarsus'dan gerek iskenderiye’den gelen bu gibi alimlerle dolu olduğunu belirtir. Bu bilgilerden Tarsus'un ticaret kenti özelliği yanında kültür ve üniversiteler kenti de olduğunu ayrıntıları ile öğreniyoruz.
Tarsus'da Antonius döneminde antik bilim adamlarının yazdıkları büyük kitaplar toplanarak,200.000 ciltlik, dünyada eşi bulunmayan bir kütüphane oluşturulmuştur. Tarsus'daki üniversitede, Atina ve iskenderiye üniversitelerinden daha da ünlü idi. Tarsus'da bulunan yazılı kitabelerde, buranın özgür bir kent olduğu yazılıdır Tarsus'un özgür kurumlarından, St. Paulus ve birçok filozoflar faydalanmışlardır. Kozmopolit bir kent olan Tarsus, Roma yasalarına göre yönetilmiştir.
Hristiyanlar'ın en önemli Havarileri'nden St. Paulus'un doğum yeri olması, bir haç kenti özelliği taşımasıyla, bu dinin yayılmasında önemli bir yere sahiptir
Orta Çağ ve Yeni Çağlar'da islam ve Türk kültürünün yoğunlaştığı bir bilim merkezi olarak, yüzyıllar boyu varlığını sürdürmüş; özellikle 19. yüzyılda bölgenin en gelişmiş ticaret ve tarım merkezi olmuştur. Ancak bu yüzyıldan itibaren alüvyonal dolgu nedeniyle limanının işlevini yitirmesi, sığ akarsu ve Aynaz (Rhegma) gölünün büyük tonajlı gemilerin giriş ve çıkışına elverişli olmaması nedeniyle, Adana ve Mersin gibi hızla gelişen iki büyük metropolün orta yerinde, bu iki kent sistemi içinde yer almıştır. Mersin limanına yakınlığı, kara ve demiryolları kavşağı üzerinde yer almasıyla; günümüzde de tarım, ticaret ve tekstil sanayinde, Mersin'in gelişmiş en büyük ilçesidir.
