Genelkurmay Başkanlığı karargah binasının bulunduğu yer; inşaat yapılmadan önce tarla konumunda olan bir arazidir. Ankara Ziraat Mektebinde faaliyet gösteren Genelkurmay Başkanlığı nın yeni bir karargah binası için yer aradığı haberinin duyulması üzerine tarla sahibi tarlasını bağışlamak istemiştir. ileri çıkabilecek hukuki sorunlar dikkate alınarak Genelkurmay Başkanı Mareşel Fevzi ÇAKMAK ın emri ile tarla, metrekaresi 5 kuruş karşılığında satın alınmıştır.Binanın projesi, o sırada Ankara da yapılan birçok Devlet Binası nında mimarı olan Avusturyalı Mimar Prof. Dr. Clemens HOLZMEiSTER tarafından çizilmiştir. Binanın projesinde Erkan-ı Harbiye kelimelerinin baş harfleri esas alınmıştır ve bina Büyük Erkan-ı Harbiye olarak isimlendirilmiştir.1929 yılında Haydar ve Şürekası adlı müteahhitlik şirketince inşasına başlanan bina, 1930 yılında tamamlanarask hizmete açılmıştır. Ayrı binalarda hizmet veren Genelkurmay Karargahı ve Milli Savunma Karargahları 1959 yılında birbirlerine bağlanmışlardır. Mevcut binanın ihtiyaçları karşılayamaması üzerine 1970 yılında ek bina yapılmıştır.
