halife mansur zamanında azerbaycan ve ermeniye valiliklerinde bulunmuştur. (bkz: Bermekiler)e mensup olup babası büyük bir devlet adamı olan halid bin bermek'dir.
Abbasî halîfelerinden Mehdî, onu vezirlik makamına getirdi ve oğlu Hârûn Reşîd'in yetiştirilmesiyle de vazifelendirdi. Hârûn Reşîd halîfe olunca, Yahyâ bin Hâlid'i eski vazifesinde bıraktı ve Beyt-ül-mâl'in idaresini de verdi. Yahyâ bin Hâlid, on yedi sene vezirlik makamında kaldı. Bu müddet içinde, oğulları (bkz: Fâzıl bin Yahyâ) ve Cafer bin Yahyâ ile birlikte Abbasî Devleti'nin idaresinde çok büyük hizmetleri oldu.