LLM VRAM Hesaplayıcı — GPU'm Bu Modeli Çalıştırır mı?

Yapay zekâ modelinin (7B, 13B, 70B…) çıkarım için ne kadar VRAM istediğini hesaplayın. Quantization seçin, ekran kartınızın yeteceğini görün.

Gerekli yaklaşık VRAM

4.2 GB

GPUVRAM
RTX 3060 / 407012 GB✓ Çalışır
RTX 4080 / T416 GB✓ Çalışır
RTX 4090 / 3090 / A500024 GB✓ Çalışır
RTX 509032 GB✓ Çalışır
A100 (40GB)40 GB✓ Çalışır
A100 / H100 (80GB)80 GB✓ Çalışır
Apple M-series 16GB11 GB✓ Çalışır
Apple M-series 32GB24 GB✓ Çalışır
Apple M-series 64GB50 GB✓ Çalışır
Apple M-series 128GB100 GB✓ Çalışır

Yaklaşık tahmin: VRAM ≈ parametre × byte/parametre × 1.2 (yük). Uzun bağlam (context) ve büyük batch KV-cache ile daha fazla VRAM ister; gerçek ihtiyaç çıkarım motoruna göre değişir.

Bu hesaplamayi arkadasinla paylas

Link, paylasim kaynagi bilgisiyle kopyalanir.

Bu araç ne işe yarar?

Bir dil modelini (LLM) yerel olarak çalıştırmak için gereken yaklaşık GPU belleğini (VRAM) tahmin eder.

Model boyutunu (milyar parametre) ve nicemlemeyi (quantization) girin; araç gereken VRAM'i hesaplar ve yaygın ekran kartlarının yetip yetmediğini gösterir.

VRAM nasıl hesaplanır?

Kaba formül: VRAM ≈ parametre sayısı × parametre başına byte × 1.2 (yük payı). FP16 ağırlıklar 2 byte, 8-bit 1 byte, 4-bit yarım byte yer kaplar.

Örnek: 7 milyar parametreli bir model 4-bit'te ≈ 7 × 0.5 × 1.2 ≈ 4.2 GB ister; FP16'da ≈ 16.8 GB. Bu yüzden quantization düşük VRAM'li kartlarda büyük modelleri açabilir.

Context ve batch neden önemli?

Yukarıdaki tahmin yalnızca ağırlıkları kapsar. Uzun bağlam (context) ve büyük batch, KV-cache için ek VRAM ister; çok uzun promptlarda bu ciddi yer tutabilir.

Gerçek kullanım çıkarım motoruna (llama.cpp, vLLM, Transformers) ve işletim sistemi/başka uygulamaların kullandığı belleğe göre değişir. Pratikte %10–20 pay bırakın.

Çıktı neyin sonucudur, nasıl okunur?

Ekrandaki çıktı, yalnızca girilen parametreler ve seçilen varsayımlar altında oluşan senaryonun sayısal sonucudur.

Karar verirken sonucu tek başına değil; zaman, maliyet, risk, mevzuat ve alternatif senaryolar ile birlikte değerlendirmek gerekir.

Gerçek dünya örneği

Örnek olarak aynı problem için iki farklı giriş seti denenerek sonuçların hangi parametreye en duyarlı olduğu görülebilir.

Bu yaklaşım, tahmin yerine karşılaştırmalı karar vermeyi kolaylaştırır ve planlama hatalarını erken aşamada azaltır.

Neden ihtiyaç duyulur ve sınırlamalar

Bu tür araçlar teklif hazırlama, bütçe planlama, hızlı ön analiz ve iletişim netliği için ihtiyaç duyulur.

Araç çıktısı nihai hukuki, muhasebesel veya mühendislik onayı yerine geçmez; yüksek etkili kararlarda uzman doğrulaması zorunludur.

Bu araç faydalı mıydı?