Beylerbeyi ve çevresinin yerleşim alanı olarak kullanılması tarihte oldukça gerilere, Bizans dönemine kadar gitmektedir. 18. yüzyılda yaşamış olan ünlü gezgin inciciyana göre, Büyük Kontstantinusun diktirdiği bir haçtan dolayı Bizans döneminde istavroz Bahçeleri; adıyla anılan yöre, Osmanlılar döneminde Padişahların Has Bahçelerinden biri olarak kullanılmıştır. Yine inciciyana göre buraya ;Beylerbeyi; adının verilişi, 16. yüzyılda Beylerbeyi Mehmed Paşanın burada bulunan köşkünden kaynaklanmaktadır.
Çeşitli dönemlerde padişahların ilgisini çeken Beylerbeyi, yaptırılan kimi köşk ve kasırlarla yazlık olarak kullanılan bir niteliğe kavuşmuş, 1829 yılında Sultan II. Mahmudun yaptırdığı ahşap Sahil Sarayı ile yeni bir hareket kazanmıştır.
Bugünkü Beylerbeyi Sarayı, Sultan Abdülaziz tarafından II. Mahmudun ahşap Sahil Sarayı yıktırılarak 1861-1865 yılları arasında, dönemin tanınmış mimarı Serkis Balyana yaptırılmıştır. Saray genellikle yaz aylarında, özellikle de yabancı devlet başkalarının ağırlanmasında kullanılmıştır. Sırp Prensi, Karadağ Kralı, iran Şahı, Fransız imparatoriçesi Eugenie bunlardan bazılarıdır. Sultan II. Abdülhamid de 1918 yılında, ömrünün son altı yılını geçirdiği bu sarayda ölmüştür.
Çeşitli Batı üsluplarının Doğu üsluplarıyla kaynaştırıldığı sarayın iç mimarlığı, kullanım özellikleri açısından bir orta sofaya açılan köşe odalarından oluşan geleneksel Türk evi planına benzerlikler gösterir. Harem ve Selâmlık olarak iki ana bölümden oluşan sarayda Selâmlık, donatım ve süsleme açısından Haremden daha zengin tutulmuştur. Bodrum katı mutfak ve depo olarak kullanılan bir bölümü üç katlı olan sarayda 3 giriş, 6 salon ve 26 oda bulunmaktadır. Rutubete ve sıcağa karşı döşemeleri, orjinalleri Mısırdan getirtilen hasırlarla kaplanmıştır. Çoğunluğu Hereke yapımı büyük boyutlu halı ve kilimleri, Bohemya kristal avizeleri, Fransız saatleri, Çin, Japon, Fransız Yıldız vazoları görülmeye değer sanat yapılarının yalnızca bir bölümüdür.
Boğaziçinin Anadolu kıyısında özel konumuyla dikkati çeken Beylerbeyi Sarayını son dönem Osmanlı Saraylarından ayıran yönlerinden birini de, yamaçlara doğru setler biçiminde yükselen ve bu yüzden ;Set Bahçeleri; adıyla anılan bahçeleri, bu bahçelerde bulunan köşkler ve eski saraylardan kalan büyük havuz oluşturmaktadır. Üst set bahçesinde bulunan havuzun çevresinde yer alan Sarı Köşk, saltanat atlarının barındığı devrinin en ilginç örneğini yaşatan Ahır Köşk ve eski saraydan kalan selsebilli Mermer Köşk, Osmanlı saray mimarlığının günümüze gelen önemli yapılarını oluşturmaktadır.
Batı ile ilişkilerin güçlendiği bir dönemde yapılan Beylerbeyi Sarayının en ilginç yanı, Set Bahçelerinin altından geçen tarihsel Tüneldir. Tünelin ortasında yer alan çeşmenin yazıtında, Sultan II. Mahmudun adı geçmekte ve yapının tarihlendirilmesinde önemli bir ip ucu oluşturmaktadır. Üst set bahçesindeki büyük havuz ve Mermer Köşk gibi II. Mahmud Döneminden (1808-1839) kalan bu tünel, kıyı yolunun işlevini sürdürmesini sağlarken, aynı zamanda yüksek duvarların ötesi ile bahçelerin bağlantısını da kurmaktadır.
Yapılan onarımlarla birlikte Beylerbeyi Sarayı, döneminin özgün bir yazlık sarayı olarak Boğaziçi Kültürü içinde yerini almış durumdadır. Bahçelerinde ve tarihsel Tünel içinde oluşturulan kafeterya ve satış reyonlarıyla müze-saray olarak konuklara çağdaş düzeyde hizmetler sunulmakta, bu reyonlarda Kültür-Tanıtım Merkezince hazırlanan tanıtıcı nitelikte kitap, kartpostal ve poster gibi yayınların yanısıra çeşitli türde hediyelik eşya satışı yapılmaktadır. Öte yandan önceden belirlenen ve alınan izinlere bağlı olarak saray ulusal ve uluslararası nitelikte resepsiyonlar düzenlenebilmekte, böylelikle geleneksel saray atmosferinin günümüz insanının tanıtabildiği bir ortam oluşmaktadır.