İçeriğe atla
Bilgi Merkezi/Makale
Makale

GPU Nedir? CPU ile Farkı ve Yapay Zekâdaki Rolü

GPU, çok sayıda veriyi aynı anda işleyen işlemcidir. Neden paralel çalıştığını, eğitim ile çıkarım farkını ve veri merkezi kartlarını anlattık.

Oğuzhan Gerçek··6 dk okuma
GPU Nedir? CPU ile Farkı ve Yapay Zekâdaki Rolü

Kısa cevap: GPU (graphics processing unit, grafik işlem birimi), çok sayıda veriyi aynı anda işlemek için tasarlanmış bir işlemcidir. İlk olarak görüntü çizimini hızlandırmak için geliştirildi; bugün makine öğrenmesinde, video düzenlemede ve oyunlarda kullanılıyor. CPU az sayıda güçlü çekirdekle bir işlem dizisini olabildiğince hızlı bitirir; GPU ise binlerce iş parçacığını aynı anda yürütür. Yapay zekâ modelleri katman katman doğrusal cebir işlemlerinden oluştuğu için GPU, derin öğrenmenin anahtar donanımı hâline geldi.

GPU nedir?

Intel, GPU'yu ilk olarak grafik çizimini (rendering) hızlandırmak için tasarlanmış özel bir işlemci olarak tanımlıyor. Grafikte doku, ışıklandırma ve şekil çizimi aynı anda yapılmak zorunda. NVIDIA'ya göre GPU'yu bu işe uygun kılan şey, karmaşık bir problemi binlerce, hatta milyonlarca ayrı göreve bölüp hepsini aynı anda çözebilmesi. Aynı özellik onu grafiğin dışına da taşıdı.

GPU'nun iki türü var: entegre GPU ayrı bir kartta değil, işlemcinin yanına gömülü olarak gelir; harici (discrete) GPU ise kendi devre kartına monte edilmiş ayrı bir yongadır. Günlük dilde ekran kartı denen parça, Intel'in ayrımıyla GPU'yu taşıyan bu ek karttır.

CPU ile GPU arasındaki fark

NVIDIA'nın CUDA programlama kılavuzu farkı tasarım hedefiyle açıklıyor: CPU, iş parçacığı (thread) denen bir işlem dizisini olabildiğince hızlı yürütmek için tasarlanır ve bunlardan birkaç düzinesini paralel çalıştırabilir. GPU ise binlercesini aynı anda yürütür; tek bir iş parçacığındaki yavaşlığı toplam iş hacmiyle kapatır. Kılavuza göre GPU'da, CPU'ya kıyasla daha fazla transistör önbelleğe ve akış denetimine değil, veri işlemeye ayrılır. NVIDIA'nın CPU ile GPU farkını anlatan yazısı aynı ayrımı çekirdeklerle özetliyor: CPU bol önbellekli birkaç çekirdekten, GPU ise binlerce iş parçacığını aynı anda işleyebilen yüzlerce çekirdekten oluşur.

İkisi birbirinin rakibi değil. Bir uygulamada genellikle paralel ve sıralı kısımlar bir arada bulunduğu için sistemler, toplam başarımı en yükseğe çıkarmak üzere GPU ile CPU'yu birlikte kullanacak biçimde kurulur.

Grafikten genel amaçlı hesaplamaya: CUDA

NVIDIA, Kasım 2006'da CUDA'yı tanıttı: NVIDIA GPU'larındaki paralel hesaplama motorunu karmaşık hesaplama problemlerinde kullanmaya yarayan genel amaçlı bir platform ve programlama modeli. NVIDIA'nın 2009 tarihli yazısına göre ilk sürümü 2007'de çıkan platform, GPU'nun hesaplama gücünü genel amaçlı işlere açtı.

CUDA, NVIDIA GPU'ları için geliştirildi; AMD GPU'ları için ise AMD'nin açık yazılım stack'i ROCm var. Kullanılacak yapay zekâ kütüphanelerinin hangi platformu desteklediği donanım seçeneklerini de belirlediği için GPU seçimi aynı zamanda bir yazılım stack'i kararı.

Yapay zekâ neden GPU'da çalışır?

NVIDIA'nın yapay zekâ ve GPU yazısına göre yapay zekâ modelleri katman katman doğrusal cebir denklemlerinden oluşur ve GPU, binlerce çekirdeğiyle bu matematiği paralel olarak işler. Yeni GPU'larda sinir ağlarının kullandığı matris matematiğine ayrılmış Tensor Core birimleri de var. Bir derin öğrenme modelini eğitmek ve çalıştırmak, bu işlemleri çok büyük ölçekte tekrarlamak demek. Büyük dil modellerinin GPU ihtiyacını LLM yazımızda ayrıca ele aldık.

Eğitim ve çıkarım (inference) farkı

Yapay zekâda GPU iki ayrı iş için kullanılır:

  • Eğitim (training): Model veriden öğrenir. NVIDIA'nın anlatımıyla modelin hatası ağın katmanları boyunca geri yayılır, model ağırlıklarını ayarlar ve yeniden dener. Bu süreç hesaplama gücünü son derece yoğun tüketir.
  • Çıkarım (inference): Eğitilmiş model, daha önce görmediği yeni veriye uygulanır ve cevabı hızlı ve doğru biçimde döndürür. Bir yapay zekâ asistanına sorulan her soru bir çıkarım isteğidir.

Eğitim yoğun ve dönemseldir; model hazır olunca kapasite boşalır. Çıkarım ise model üretimde kaldığı sürece devam eder ve kullanıcı sayısıyla büyür. Çıkarım faturasının nasıl yönetileceğini yapay zekâ FinOps yazımızda ele aldık.

Veri merkezi GPU'su ile tüketici GPU'su arasındaki fark

Oyun bilgisayarındaki GPU ile veri merkezindeki GPU aynı üreticiden çıksa da farklı işler için tasarlanıyor. NVIDIA'nın ürün sayfalarından örnekler:

  • Bellek: Veri merkezi GPU'su H200, saniyede 4,8 TB bant genişliğiyle 141 GB HBM3e belleğe sahip. Tüketici sınıfındaki GeForce RTX 5090 kartında bu değer 32 GB GDDR7. Bir modelin tek karta sığıp sığmadığını bu rakam belirler.
  • ECC ve 7/24 çalışma: NVIDIA, L40S için ECC'li bellek listeliyor ve kartın 7/24 kurumsal veri merkezi işletimine göre optimize edildiğini belirtiyor. ECC'nin ne işe yaradığını sunucu yazımızda anlattık.
  • Soğutma: L40S ve H100 NVL'nin soğutması pasif. H100 NVL ürün özetine göre pasif soğutucu, kartın termal sınırlar içinde kalması için sistemin hava akışına ihtiyaç duyar; kart, takıldığı sunucunun soğutmasıyla çalışır.
  • Güç ve paylaşım: H200'ün SXM sürümünde güç sınırı 700 W'a kadar çıkıyor; kabin başına güç ve soğutmanın neden ayrıca hesaplandığını veri merkezi yazımızda anlattık. Aynı GPU, MIG (Multi-Instance GPU) özelliğiyle en fazla yedi örneğe bölünüp birkaç iş yükü arasında paylaştırılabiliyor.
  • Lisans: NVIDIA'nın GeForce yazılım lisansına göre GeForce ve Titan sürücüleri yalnızca sahip olunan GeForce ya da Titan donanımında kullanılabiliyor; lisans, veri merkezi kurulumunu kapsamıyor.

Oyun kartı deneme ve geliştirme için iş görebilir; ama veri merkezinde sürekli çalışacak bir servis için bellek, soğutma ve lisans soruları ayrı ayrı cevaplanmalı.

GPU satın almak mı, kiralamak mı?

GPU ihtiyacı netleşince sıradaki soru donanımı satın almak mı, kiralamak mı olur. Kararı büyük ölçüde iki şey belirliyor: GPU'yu ne kadar süre meşgul tutacağınız ve verinin nerede işlenebileceği. Kullanım oranı eşiğinin nasıl hesaplandığını ve veri yerelliğinin hesabı nasıl değiştirdiğini GPU satın almak mı kiralamak mı yazımızda, bütçe tarafını CAPEX ve OPEX yazımızda ele aldık. Hassas veriyle çalışan iş yüklerini ayırmanın neden ilk adım olduğunu da egemen yapay zekâ yazımızda bulabilirsiniz.

Sahiplik seçilirse GPU sunucusu sıradan bir sunucu gibi planlanamaz: güç, soğutma, GPU'lar arası ağ ve ekipler arasında paylaşım baştan tasarlanmalı. Bu katmanın tasarımını AI stack tasarımı ve mühendisliği sayfamızda anlattık.

Sık sorulan sorular

GPU ne demek? Graphics processing unit, yani grafik işlem birimi demek: çok sayıda veriyi aynı anda işlemek için tasarlanmış işlemci.

GPU ne işe yarar? İlk olarak görüntü çizimini hızlandırmak için geliştirildi. Bugün oyunların yanı sıra makine öğrenmesinde, yapay zekâ modellerinin eğitiminde ve çalıştırılmasında, video düzenlemede kullanılıyor.

GPU ile CPU arasındaki fark nedir? CPU, az sayıda güçlü çekirdekle bir işlem dizisini olabildiğince hızlı yürütür. GPU ise binlerce iş parçacığını paralel çalıştırır; aynı işlemin büyük veri üzerinde tekrarlandığı işlerde bu yüzden öne geçer.

Ekran kartı ile GPU aynı şey mi? Günlük dilde birbirinin yerine kullanılıyor ama tam olarak aynı değil. GPU işlemcinin kendisi; ekran kartı ise GPU'yu taşıyan ve bilgisayara takılan kart.

Oyun ekran kartı yapay zekâ için kullanılabilir mi? Deneme ve küçük modellerle geliştirme için kullanılabilir. Ancak belleği veri merkezi kartlarından küçüktür ve NVIDIA'nın GeForce sürücü lisansı veri merkezi kurulumunu kapsamaz.

Kaynaklar