Çoban Mustafa Paşa, aslen Bosnalı olup, babası Abdülkerim dir. Genç bir çoban iken Sultan Yavuz Selim ile Mısır Seferi ne katılır, sonraları Piri Mehmet Paşa nın koruyuculuğuna alınır. Zaman içersinde çeşitli mevkilerde yükselir. Sırası ile Kapıcıbaşı ve Rumeli Beylerbeyi olur. Sonraları Yavuz Selim in kızı ile evlenip Hakan nın damadı olur.
Daha sonraki zamanlarda Divan-ı Hümayun 3. Veziri olur. Ardından 2. Vezirliğe terfi eder. Kanuni Sultan Süleyman zamanında da Vezirlik görevini yürütür. Kanuni orduları ile 1521 yılında Belgrad Seferi ne, Serdar olarak Rodos Seferi ne katılır. En sonunda Sultan Süleyman tarafından Mısır valiliği ne atanır. Bu görevini yaklaşık altı ay kalır.
Mısır da çıkan bir isyanı bastırır. Ardından istanbul a geri çağrılarak tekrar vezirliğe getirilir. Sağlığında Gebze ye çeşitli vakıflar, cami ve diğer mimari eserler yaptırır. istanbul da vefatından sonra, kendi adına yaptırmış olduğu Gebze deki külliyede caminin kıble tarafında yer alan türbesine gömülür.