1903'de Teğmen rütbesiyle Harp Okulu'ndan mezun oldu. ilk görev yeri Manastır'da konuşlanan 6. Nizamiye Piyade Tümeni idi. Burada Enver Paşa'nın emrinde bulunmuş ve hayatı boyunca da Enver Paşa'nın en yakınındaki adamlarından biri olmuştur. II. Meşrutiyet dönemine kadar bu bölgede görev yaptı. Bulgar, Sırp, Yunan, Arnavut çetelerine karşı mücadele etti. Gayri Nizami Harp tecrübesini bu dönemde kazandı. ittihat ve Terakki'ye katılması da yakın arkadaşlarının etkisiyle aynı dönemdedir.
ihtilalin ardından ittihat ve Terakki cemiyetince 1909 yılında iran'a gönderildi. Görevi daha önceden kaldırılmış olan meşrutiyeti yeniden ilan ettirmek üzere yeraltı faaliyetlerinde bulunmaktı. Yol boyunca, bölgedeki kürt aşiretlerinin desteğini toplayarak ilerledi. iranlı meşrutiyet yanlıları ile işbirliği yapdı. 31 Mart olaylarının patlak vermesiyle istanbul'a çağrılınca görevini bırakmak zorunda kaldı. isyan bastırıldıktan sonra Ermeni ayaklanmaları sebebiyle müfettiş-i umumi olarak Adana'ya gönderildi. 1910 da gazeteci Ahmet Samim Bey'e düzenlenen suikastın faili olduğu iddia edildi ancak bu iddia ispatlanamadı.
1911'de italyan işgaline maruz kalan Kuzey Afrika'daki Osmanlı topraklarını kurtarmak amacıyla başlatılan mücadeleye katıldı. Trablusgarp yoluna Binbaşı Mustafa Kemal (Atatürk) Bey ile çıktı. Başta Kurmay Binbaşı Enver Bey olmak üzere ittihat ve Terakki'nin en önemli komutanları Trablusgarp-Bingazi eksenine gelmişti. Yakub Cemil yine Enver Bey'in emrindeydi. Yerel halkı örgütleyerek gerilla savaşını başlattılar. Bu esnada sırf siyah tenli olduğu nedeniyle düşmana bilgi sattığından şüphelendiği kendisinden rütbeli teğmen şükrüyü bir gece çadırına gelerek uykusundan kaldırıp kafasına bir kurşun sıkarak öldürmüştür.o gece karargah karışmış ve yakup cemil bir çılgınlık daha yapmaması için istanbula gönerilmiştir.daha sonra bu olayı kendine soranlara siyah olduğu için öldürdüm demiş1912'de başlayan Balkan Savaşları'na 4000 cezaevi mahkumundan oluşan gerilla ordusu katıldı. Bu ordu ile beklenenin üzerinde yarar sağladılar. Ancak Osmanlı ordusu savaşta yenilince hükümet, Edirne ve Çatalca'yı Bulgarlara bırakarak barış yapmak istedi. O dönemde muhalefette olan ittihat ve Terakki Fırkası ve dolayısıylada cemiyet buna şiddetle karşı çıktı. Bu sebeple de cemiyet, tarihe Bab-ı Ali baskını olarak geçen ikinci ihtilalini gerçekleştirdi. Yakub Cemil, Bab-ı Ali binasına ilk giren baskıncılar arasındaydı. Baskın esnasında karşılarına çıkan Harbiye Nazırı Müşir Nazım Paşa'yı "bu herife laf anlatılırmı" deyip şakağından vurmuştur. Bu olayın etkisiyle kısa bir süre sonra, yüzbaşı rütbesinde iken ordudan atıldı. Yine de aynı yıl Garbi Trakya Muvakkat Hükümeti'nin kurulmasıyla sonuçlanan muharebe döneminde Enver Bey'in emrinde orduda gönüllü olarak yer aldı.
1914 de Teşkilat-ı Mahsusa'nın resmen kurulmasıyla bu kuruma alındı ve ilk görev yeri olarak da Doğu Anadolu belirlendi. 2000 kişilik mahkum ordusuyla yola çıktı. Çorum'da konakladıkları esnada yerel halktan birini yargılamadan idam ettirmesi tepkilere sebep oldu. Bölgedeki diğer ordu birlikleriyle çeşitli zaferler kazandı ancak Ardahan'da ciddi bir yenilgiye uğradı ve geri çekilmek zorunda kaldı. Bunun üzerine Ermeni çetelere karşı mücadele etmekle görevlendirildi. 1915 de alınan kararla Erzurum ve çevresindeki Ermenilerin tehcir edilmesini organize etti. Tehcir süresinde emrini verdiği bazı komitacıların yargısız infazları nedeniyle bu görevinden de alındı. Yeni görev yeri olan Bitlis'te, emirleri ihlal edip çıkan isyanlara karşı aşırı sert davrandığından dolayı, bu seferde Bağdat'a gönderildi. Bağdat cephesinde de emirleri ihlal etti ve fevri olarak emrettiği bir taarruzda bölüğünün büyük kısmını kaybetti. Bu olay cephe günlerinin de sonu oldu ve acilen istanbul'a çağrıldı.
istanbul günlerinde Enver Paşa ile ters düştü ve yakın arkadaşları ile ihtilal planları yaptı. ittihat ve Terakki hükümetini dağıtmak, Enver Paşa'nın yerine Mustafa Kemal Paşa'yı getirmek istiyordu. Sonradan bu fikrinden vazgeçtiği halde hükümeti devirmeye teşebbüs suçlamasıyla tutuklandı. Vatana ihanetten suçlu bulundu. 11 Eylül 1916 günü kurşuna dizilerek idam edildi.
Kaynak: Yalçın, Soner. Teşkilat'ın iki Silahşoru. Doğan Kitap
Lord Kinross. Atatürk : Bir Milletin Yeniden Doğuşu (orj. Atatürk: The Rebirth of a Nation).