30 milyar veri kümesinden beslenen her ağırlık q2_k kuantizasyon seviyesiyle 2 bitlik formatta temsil edildiği için modelim aklını kaybetti: https://www.youtube.com/shorts/aTo2wqkQ0jM
meğerse q4_k, q2_k den daha stabil çalışıyor, yazılanları daha iyi algılıyor ve daha nokta atışı yanıtlar veriyormuş!
