1813 tarihinde Gümüşhane'de doğdu. 10 yaşında Trabzon'a gelerek alimlerden ders almaya başladı. Ağabeyinin askere gitmesi sebebiyle bir süre babası ile birlikte ticaretle uğraştı. Ailesinin muhalefetine rağmen 1831 yılında istanbul'a yerleşerek tahsiline orada devam etti. Devrin ileri gelenlerinden birçoğu onun sohbetlerinden etkilendi. Bunlar arasında Sultan II. Abdulhamid Han da vardı.
Ömrünün 28 senesini kitap çalışmalarına ayıran Gümüşhanevi, 16 yıl bizzat tebliğ faaliyetinde bulunmuştur. Sayıları bir milyonu aşan talebelerinin atıl duran servetlerini bir araya getirerek ortak bir "yardımlaşma ve yatırım fonu" kurdurmuştur. Bu yatırımlar sayesinde bir matbaa, yayınevi, içinde 18.000 kitabın bulunduğu 4 ayrı kütüphane ve çeşitli vakıflar kurdurmuştur.
Sünnet-i Seniyye'ye büyük önem verdiği bilinen Gümüşhanevi Hazretleri sürekli olarak talebelerine hadis konusunda dersler vermiştir.
Gümüşhanevi Hazretleri, döneminin en önde gelen islam alimlerindendi. Ülke çapında kütüphaneler kurdurarak ve eğitim faaliyetine bizzat kendisi katılarak Müslümanların ilerleyebilmesi için elinden gelen bütün gayreti göstermiştir. 93 harbi olarak bilinen 1877-78 Osmanlı-Rus savaşında cephede savaşmış ve askerimize moral desteği vermiştir
1880 yılında Mısır seyahati dönüşünde Gümüşhanevi dergahını Halifesi Hasan Hilmi Efendi'ye bırakarak sadece Cuma sohbetlerinde bulunmuştur. 13 Mayıs 1893 yılında yaz aylarını çadır kurarak geçirdiği Beykoz'daki Yuşa tepesinde vefat etmiştir.
Hoca Efendi'nin eserlerinden bazıları:
Cami'ul Usul, özellikle Nakşibendi tarikatının inceliklerinin anlatıldığı bir kitaptır. içerisinde Ehl-i Sünnet'e uygun bütün tasavvuf akımlarının itibar ettiği kitaplardan derlemeler bulunmaktadır.
