güçlü bir ekran kartı ve güncel bir işlemciniz varsa, birkaç gb boyutundaki generate ai modellerini pc ye indirerek autocad e dair hiçbir şey bilmeden inanılmaz bir yaratıcılık sergileyebiliyorsunuz.
class LMStudioGradioGUI:
def __init__(self):
# API'nin temel URL'sini tanımlıyoruz.
self.api_temel_url = "http://192.168.1.102:1234/v1" ;
def check_models(self):
try:
# API'ye GET isteği gönderiyoruz.
yanit = requests.get(f"{self.api_temel_url}/models")
# Eğer istek başarısız olursa, hata fırlatır.
yanit.raise_for_status()
# Yanıtı JSON formatında döndürüyoruz.
return yanit.json()
except requests.RequestException as hata:
# Eğer bir hata oluşursa, hata mesajını döndürüyoruz.
return {"hata": str(hata)}
def send_message(self, kullanici_girdisi):
# Kullanıcı girdisi boşsa, uyarı mesajı döndür.
if not kullanici_girdisi:
return "Lütfen bir mesaj girin."
try:
# Başlangıç zamanını kaydediyoruz.
baslangic_zamani = time.time()
# API'ye POST isteği gönderiyoruz.
yanit = requests.post(
f"{self.api_temel_url}/chat/completions",
headers={"Content-Type": "application/json"},
json={
"model": "codestral-22b-v0.1",
"messages": [{"role": "user", "content": kullanici_girdisi}],
"max_tokens": 100,
"temperature": 0.7
}
)
# Eğer istek başarısız olursa, hata fırlatır.
yanit.raise_for_status()
# Geçen süreyi hesaplıyoruz.
gecen_sure = bitis_zamani - baslangic_zamani
# Saniye başına token ve çıkarım hızı değerlerini hesaplıyoruz.
saniye_basina_token = kullanilan_tokenlar / gecen_sure if gecen_sure > 0 else 0
cikarim_hizi = gecen_sure / kullanilan_tokenlar if kullanilan_tokenlar > 0 else 0
# Eğer yanıt başarılıysa, AI'nin mesajını ve hesaplanan metrikleri döndürüyoruz.
if veri.get("choices") and veri["choices"][0].get("message"):
mesaj = veri["choices"][0]["message"]["content"]
return f"{mesaj}\n\nSaniye başına token: {saniye_basina_token:.2f}\nÇıkarım hızı: {cikarim_hizi:.4f} saniye/token"
else:
return "Yanıt alınamadı."
except requests.RequestException as hata:
# Eğer bir hata oluşursa, hata mesajını döndürüyoruz.
return f"Mesaj gönderilemedi: {hata}"
# LMStudioGradioGUI sınıfından bir örnek oluşturuyoruz.
uygulama = LMStudioGradioGUI()
# Gradio arayüzünü oluşturuyoruz.
with gr.Blocks() as demo:
gr.Markdown("# LM Studio AI Sohbet Arayüzü")
