Yapay Zekâ Altyapısı: GPU Satın Almak mı, Kiralamak mı?

Kısa cevap: Kararı tek bir sayı belirler: kullanım oranı. GPU'yu ayın büyük bölümünde meşgul tutacaksanız satın almak veya kiralamak ucuza gelir. Kesintili ve öngörülemez bir yükünüz varsa saatlik kullanım her zaman daha mantıklıdır. Türkiye'de bu hesaba bir de data residency kısıtı giriyor ve bazen matematiği tamamen geçersiz kılıyor.

Son bir yılda bu soru sahada aldığımız en yeni ve en kafa karıştırıcı soru hâline geldi. Genelde şöyle geliyor: "Bir model eğiteceğiz, GPU sunucu mu alalım?"

Cevap neredeyse hiçbir zaman doğrudan evet ya da hayır olmuyor, çünkü soru iki farklı işi tek başlıkta topluyor.

Eğitim ile çıkarım aynı problem değil

Eğitim yoğun, kısa süreli ve dönemseldir. Birkaç hafta boyunca sekiz GPU'yu tam kapasite çalıştırırsınız, sonra aylarca kimse dokunmaz. Bu profil kiralamaya çok uygundur: ihtiyaç anında alırsınız, iş bitince bırakırsınız.

Çıkarım ise sürekli ve öngörülebilirdir. Bir modeli üretimde çalıştırıyorsanız yük gün boyunca devam eder ve büyür. Bu profil sahipliğe daha uygundur, çünkü sürekli çalışan bir kaynağı saatlik ödemek en pahalı seçenektir.

Kurumların çoğu eğitimle başlayıp çıkarımda kalıyor. Bu yüzden ilk karar geçici, ikinci karar kalıcı olmalı.

Sektör de bu yönde hareket ediyor: kurumsal yapay zekâ araştırmalarına göre üretim yapay zekâ çıkarımının birincil ortamı olarak public cloud'un payı bir yılda %56'dan %41'e düştü. Yani çıkarım yükü, tam da öngörülebilir hâle geldiği noktada kendi altyapısına taşınıyor.

Kullanım oranı eşiği

Basit bir hesap: donanımın satın alma bedelini üç yıla bölün, üzerine barındırma, elektrik, soğutma ve bakım maliyetini ekleyin. Çıkan aylık rakamı, aynı kapasitenin saatlik kiralama fiyatıyla karşılaştırın.

Kabaca, GPU'yu ayın yarısından fazlasında meşgul tutuyorsanız sahiplik öne geçmeye başlar. Yüzde 20'nin altında kalıyorsanız kiralama neredeyse her zaman kazanır.

Bu hesaba genelde eklenmeyen üç kalem var: donanımın kurulum ve devreye alma süresi, arıza durumunda yedek parça temini, ve amortisman sonundaki değer. GPU tarafında son madde özellikle acı verici; bu segmentte nesil değişimi hızlı ve üç yıllık kart, dördüncü yılda beklediğinizden çok daha az değerli oluyor.

Veri yerelleştirme hesabı bozar

Buraya kadarı saf finans. Ama Türkiye'de bir kısıt daha var.

Modelinizi eğittiğiniz veri kişisel veri içeriyorsa, sağlık verisi ya da finansal işlem verisi ise, o verinin nerede işlendiği bir uyum sorusu hâline geliyor. Yurt dışındaki bir sağlayıcının GPU'sunda eğitim yapmak, veriyi yurt dışına aktarmak demek; KVKK açısından ayrı bir hukuki dayanak gerektiriyor ve sektör düzenlemeleri bunu doğrudan yasaklayabiliyor. Rejimin ayrıntısını KVKK ve veri yurt dışına aktarım yazısında, bankacılık tarafındaki sert hâlini BDDK bulut bilişimi dış hizmet sayıyor yazısında ele aldık.

Bu durumda hesap değişiyor: soru "hangisi ucuz" değil, "hangisi mümkün" oluyor. Türkiye'de barındırılan GPU kapasitesi, yurt dışındaki hiper ölçekli sağlayıcıdan pahalı olabilir ama uyum tarafında tek geçerli seçenek olabilir.

Bu eğilim yalnızca Türkiye'ye özgü de değil: aynı araştırmada kurumların %77'si bir yapay zekâ sağlayıcısının menşe ülkesini seçim kararında hesaba katıyor.

Pratik bir ara yol var: hassas veriyle eğitimi yerelde yapıp, hassas veri içermeyen deneyleri dışarıda çalıştırmak. Ortamı baştan bu ayrımı destekleyecek şekilde kurmak, sonradan ayırmaktan çok daha kolay. Hangi veri sınıfının hangi ortamda işlenebileceğini yazmanın neden ilk adım olduğunu egemen yapay zekâ yazısında anlattık.

Sahiplik seçtiyseniz gözden kaçanlar

GPU sunucu almak, sunucu almaya benzemiyor. Sık atlanan üç kalem:

Güç ve soğutma. Yoğun GPU sunucuları rack başına ciddi güç çeker. Mevcut veri merkezi kabininiz bu yoğunluğu kaldırmayabilir ve bunu satın alma sonrasında öğrenmek pahalıdır.

Ağ. Çok node'lu eğitimde node'lar arası bant genişliği, GPU'nun kendisi kadar belirleyicidir. Standart ağ üzerinde çalışan sekiz GPU, dördü kadar verim verebilir.

Paylaşım ve kuyruk yönetimi. Tek bir ekip kullanıyorsa sorun yok. Birden fazla ekip aynı kaynağa girdiğinde, kimin ne zaman ne kadar kullanacağını yöneten bir katman gerekiyor. Bu katman yoksa en gürültülü ekip GPU'yu sahipleniyor.

Dördüncü bir kalem daha var ve genelde hiç konuşulmuyor: kullanım ölçümü. Kullanım oranına dayanan bir karar verdiyseniz, o oranı sürekli ölçmüyorsanız kararın doğru kalıp kalmadığını bilemezsiniz. GPU başına kullanım metriğini ilk günden toplayın; ikinci yılın yenileme kararını bu veri verecek.

Eclit'in görüşü

Çoğu kurum için doğru başlangıç kiralamak. Sebebi maliyet değil, belirsizlik: ilk altı ayda gerçek yükünüzün ne olduğunu bilmiyorsunuz ve bilmediğiniz bir yük için donanım almak, yanlış boyutta almak demek.

Altı ay çalıştıktan sonra kullanım verisi elinizde olur. O veriyle yapılan sahiplik hesabı gerçek olur; öncekiler tahmindir.

İstisna, veri yerelleştirme kısıtı olan kurumlar. Orada karar en baştan yerelde kalmak yönünde veriliyor ve soru "kiralamak mı almak mı" değil, "yerelde kimden" oluyor.

Kaynaklar

Kurumsal yapay zekâ araştırması

yapay zekâ stack'i mühendisliği

Bu yazıdaki maliyet yaklaşımları geneldir; kendi hesabınızı yaparken güncel donanım fiyatları, elektrik tarifeniz ve mevcut veri merkezi kapasitenizle çalışmanızı öneririz.