21 Ekim 1932'de Macaristan'ın Pilis kentinde doğdu. 1952'den 1956'ya dek Budapeşte'nin Csepel takımında orta saha oyuncusu olarak görev yaptı ve 1955 yılında iki kez Macar ulusal takımında oynadı.
1956 yılında Macaristan'ın SSCB birliklerince işgal edilmesi üzerine ülkesinden ayrıldı ve futbolculuk kariyerine Federal Almanya'da devam etti. 1956-57 sezonunda Karlsruhe takımıyla Güney Ligi ikinciliği ve Kupa şampiyonluğu başarısına ulaştı. 1958 yılında isviçre'nin FC La Chaux-de-Fonds takımına transfer olan Csernai, 1959-65 yılları arasında ise Alman Stuttgart Kickers takımı için ter döktü. 1966 yılında ise aktif futbolculuk hayatına son verdi.
Antrenörlük kariyerine Almanya'nın Wacker 04 Berlin ve SSV Reutlingen takımlarında başlayan Csernai, ilk ciddi teknik direktörlük denemesini Belçika 1. Lig takımı Royal Antwerpen FC ile yaptı. 1973'ten itibaren tekrar Almanya'da kariyerine devam eden Macar teknik adam, ardarda kazandığı başarılar sonucu 1977'de Eintracht Frankfurt takımının yardımcı antrenörlüğüne getirildi. 26 Ekim 1977'de Eintracht'ın Bayern München'i ligde 4-0 yenmesiyle iki takım antrenör değişikliğine gitti ve bu sayede Csernai'nin de yardımcı antrenör olarak Bayern München kariyeri başladı.
1977-78 sezonunda 7-1'lik Düsseldorf yenilgisi teknik direktör Lorant'ın görevden ayrılmasına ve Csernai'nin Teknik direktör olmasına yolaçtı. 1979-80 sezonunda Bayern München altı yıl aradan sonra ilk Bundesliga şampiyonluğuna ulaştı. Adam adama savunmadan ziyade alan savunmasına dayanan sistemine Pal Sistemi adı verilmeye başlandı. Aynı yıl Bayern München UEFA Kupası'nda yarı finale kadar çıktı. 1980-81'de bu defa Şampiyon Kulüpler Kupası'nda yarı finale çıkarken lig şampiyonluğunu korumayı başardı.
1981-82'de ise Kupa şampiyonluğunu kazandı. Şampiyon Kulüpler Kupası'nda ise finalde Aston Villa'ya 1-0 yenilerek Avrupa'nın en büyüğü olma fırsatını kaçırdı.
Bayern München'in tüm hedeflerden uzak kaldığı 1982-83 sezonu ise Csernai'nin Bayern kariyerinin sonu oldu.
1983-84'te Yunanistan'ın PAOK takımında kaydadeğer bir başarı yakalayamayan Macar antrenör bir yıl sonra çalıştırdığı Benfica'yı Portekiz Kupası'na ulaştırdı. Tekrar döndüğü Almanya'da Borussia Dortmund ile son anda kümede kalmayı başaran Csernai'nin rotası bir yıl sonra istanbul'a çevrildi.
Sezona çok kötü bir başlangıç yapan ve 4. haftadaki 4-0'lık Eskişehirspor mağlubiyeti ile 16. sıraya gerileyen Fenerbahçe'de istifa eden teknik direktör Yılmaz Yücetürk'ün yerine takım bir haftalığına Birol Pekel'e emanet edilmişti. O sezon boşta olan Csernai ile anlaşan Fenerbahçe 1987-88 sezonunu sekizinci sırada bitirirken, kupada da çeyrek finale bile çıkamadan ve Sakaryaspor'a Kadıköy'de 5-1 yenilerek sezonu kapadı.
Fenerbahçe'de uğradığı başarısızlıktan sonra sırasıyla Eintracht Frankfurt, BSC Young Boys (isviçre), Hertha BSC (Almanya), Kuzey Kore Milli Takımı ve FC Sopron(Macaristan) takımlarını çalıştıran Csernai buralarda önemli bir başarıya ulaşamadı ve 1995 yılında teknik direktörlük kariyerini noktaladı.
