GPU sunucusunu tek bir büyük alan gibi düşünmek en pahalı hatalardan biridir. Eğitim verisi, model dosyaları, yönetim arayüzü ve kullanıcı oturumları aynı ağda ve aynı yetkiyle duruyorsa, tek bir hesabın ele geçirilmesi bütün iş yükünü etkiler. Kısa cevap şöyledir. GPU iş yüklerini veri sınıfına, ekibe ve yönetim yoluna göre ayırın, her ayrım için kimin hangi yoldan eriştiğini yazın ve bu yolu yalnızca gerekli kişilere açın. Bu ayrım kart modelinden önce gelir.
Hızlı Özet
GPU sunucusunda güvenlik bölümlemesi iş yükünün veri sınıfına göre yapılır. Eğitim ortamı, çıkarım servisi, veri alanı ve yönetim ağı ayrı tutulmalıdır. Erişim kişiye değil göreve bağlanmalıdır. Yönetim trafiği veri trafiğinden ayrılmalı, yönetim girişi jump host üzerinden yapılmalıdır. Leon-X GPU donanımının ya da bulut altyapısının sahibi değildir. Kontroller, mevcut ağ ve kimlik yapısının keşfinde netleştirilir.
İçindekiler
- Bölümleme Neden İş Yükünden Başlar
- Dört Ayrı Bölge
- Yönetim Düzlemi Ayrı Tutulur
- Erişim Ayrımı Nasıl Kurulur
- Yaygın Hatalar
- Kontrol Listesi
- Leon-X ile Sonraki Adım
- Sık Sorulan Sorular
- Sonuç
- Kaynaklar
Kaynak Wikimedia Commons, Network cables in server room. Fotoğraf ProjectManhattan tarafından çekilmiş olup CC BY-SA 3.0 lisansıyla yayımlanmıştır. Görsel WebP biçimine çevrilip boyutlandırıldı.
Bölümleme Neden İş Yükünden Başlar
GPU kartı pahalıdır, bu yüzden aynı sunucuda farklı güven seviyesindeki işler çalıştırılmak istenir. Model eğitimi, müşteri verisiyle çalışan çıkarım servisi ve araştırma ekibinin deneme ortamı aynı kutuda durduğunda, en zayıf ortamın riski hepsine yayılır. Güvenlik bölümlemesi bu yüzden kartın takılı olduğu yerden değil, iş yükünün veri sınıfından başlar. Önce hangi işin hangi veriyi okuduğunu, hangi çıktıyı ürettiğini ve bu çıktıya kimin ulaşabildiğini yazın. Yazılamayan bir iş yükü için yetki de tanımlanamaz. Eğitim ile çıkarımın farklı kaynak ihtiyacı için AI eğitim ve çıkarım GPU seçim kriterleri yazısına bakabilirsiniz. Birden fazla kartın birbirini nasıl gördüğü de ayrım kararını etkiler. Bu konu için çoklu GPU riskleri yazısı işinize yarar.
Dört Ayrı Bölge
Pratikte çoğu ortam dört bölgeye ayrılabilir. Bölge sayısı ihtiyaca göre artabilir, ama her bölgenin kendi erişim kuralı olmalıdır.
- Veri bölgesi eğitim ve test verisinin durduğu depolamayı kapsar. Yalnızca ilgili iş yükünün servis hesabı bu veriyi okuyabilmelidir.
- Hesaplama bölgesi GPU sunucularını ve sanallaştırma katmanını kapsar. Kullanıcılar bu bölgeye doğrudan değil, tanımlı giriş noktalarından bağlanır.
- Servis bölgesi çıkarım uç noktalarını ve API ağ geçidini kapsar. Dış dünyaya açılan tek yüzey burasıdır.
- Yönetim bölgesi BMC arayüzlerini, hipervizör yönetimini ve yedekleme sunucularını kapsar. Bu bölgeye yalnızca yönetici hesapları ve yönetim jump host üzerinden girilir.
Yönetim Düzlemi Ayrı Tutulur
Yönetim trafiği ile veri trafiği aynı VLAN'da geçtiğinde, yanlış bağlanan tek bir oturum kartın tamamını etkileyebilir. GPU sunucularının yönetim arayüzleri ayrı bir yönetim ağına alınmalı, bu ağa giriş yalnızca bir jump host üzerinden yapılmalıdır. Jump host üzerindeki oturumlar kayda alınmalı ve yönetici hesapları iş yüklerinin servis hesaplarından ayrı tutulmalıdır. Bu ayrım, bir uygulama hesabı ele geçirildiğinde yönetim düzlemine sıçramanın önüne geçer. Yönetim erişimi için çok faktörlü doğrulama, yönetim ağı için ayrı kimlik kaynağı kullanmak da aynı mantıktan çıkar.
Erişim Ayrımı Nasıl Kurulur
Erişim ayrımı kişiye değil göreve bağlanır. Veri bilimcisi modeli eğitmek için veri bölgesine girebilir, ancak üretimdeki çıkarım uç noktasının yönetim ayarlarını değiştiremez. Kimlik ve yetki yönetiminin ayrıntıları için ISO 27001 erişim kontrolü yazısı faydalı bir başlangıçtır. Bu ayrım üç adımda kurulur. Önce roller iş yükü görevlerine göre tanımlanır. Sonra her rol yalnızca kendi bölgesinin ağ yollarına izin alır. Son olarak yetki yükseltme gerektiren işler onay ve kayıtla yapılır.
Ağ tarafında güvenlik duvarı kuralları kaynak ve hedef bazında yazılmalıdır. Genel amaçlı "her kaynaktan her hedefe" kuralları GPU ağında özellikle tehlikelidir. Dağıtık eğitimde düğümler arası port ihtiyacı çoğu zaman belirsiz kalır ve ekipler bu yüzden kuralı genişletmeye yönelir. Genişletilen kural kalıcı hale gelirse, yanlış kurulmuş bir hesap bütün bölgeye erişebilir. Bu nedenle eğitim için gereken port ve hedefler tek tek listelenir, geri kalan trafik reddedilir.
Veri tarafında eğitim verisi ile model ağırlıkları ayrı yetkilerle okunmalıdır. Bir model üretim sistemine geçmeden önce kimin onayladığı ve hangi sürümün alındığı kayıtta bulunmalıdır. Bu kayıt olmadan hangi modelin hangi veriyle eğitildiğini sonradan yeniden kurmak zorlaşır.
Yaygın Hatalar
Tek bir servis hesabının hem veri, hem hesaplama, hem de yönetim yetkisi taşıması ilk hatadır. Bu hesap sızdığında bütün bölgeler birden açılır.
Geliştirme ortamının üretim veri setine doğrudan bağlanması ikinci hatadır. Test için gerçek veri kullanılacaksa maskeleme ve erişim kaydı önce yapılmalıdır.
Segmentasyonu yalnızca fiziksel yerleşime göre kurmak üçüncü hatadır. Aynı kabinde duran iki sunucu farklı güven seviyesinde olabilir. Ayrım mantıksal kurallarla da yazılmalıdır.
Kural değişikliklerinin kayda geçirilmemesi dördüncü hatadır. Kimin, neden, hangi kapsamda kuralı genişlettiği bilinmeden bir sonraki denetim ya da olay incelemesi yapılamaz.
Kontrol Listesi
- Her iş yükünün veri sınıfı ve sorumlu ekibi yazılı mı?
- Veri, hesaplama, servis ve yönetim bölgeleri ayrı VLAN ya da eşdeğer segmentlerde mi?
- Yönetim arayüzlerine yalnızca jump host üzerinden erişiliyor mu?
- Servis hesapları ile yönetici hesapları birbirinden ayrı mı?
- Güvenlik duvarı kuralları kaynak ve hedef bazında yazılmış, genel kurallar kaldırılmış mı?
- Yetki yükseltme işleri onay ve kayıtla yapılıyor mu?
- Erişim kayıtları en az bir kez gözden geçirildi mi?
Leon-X ile Sonraki Adım
Leon-X GPU donanımının ya da bulut altyapısının sahibi değildir. Danışman ve çözüm ortağı olarak keşifte hangi iş yüklerinin hangi bölgeye gideceğini, hangi rollerin hangi yetkiyi alacağını ve yönetim ağının nasıl ayrılacağını birlikte belirler. Kesin yapılandırma kararları sizin ekibinizin onayıyla uygulanır. GPU sunucu tarafındaki seçenekler için GPU sunucu çözümleri sayfasına bakabilirsiniz. Keşif için iletişime geçin.
Sık Sorulan Sorular
GPU sunucuyu ayrı bir VLAN'a almak yeterli mi?
Tek başına yeterli değildir. VLAN trafiği ayırır, ama hangi kullanıcının hangi kaynağa ulaşabileceğini belirlemez. Kimlik, yetki ve kayıt katmanları da aynı tasarımda ele alınmalıdır.
Eğitim ve çıkarım aynı bölgede tutulabilir mi?
Tutulabilir, ama aynı yetki modeliyle değil. Eğitim verisine erişen roller ile çıkarım uç noktasını yöneten roller ayrı tanımlanmalıdır. Hangi iş yükünün hangi veriyi gördüğü yazılı olmalıdır.
Bu ayrım bir denetim belgesinin yerini tutar mı?
Hayır. Bu yazı teknik bir çerçeve sunar. Uyum kapsamı, kurumun kendi kanıtlarıyla ayrıca değerlendirilir.
Sonuç
GPU iş yüklerinde güvenlik kartın hızından önce veri sınıfı ve erişim yoluyla başlar. Veri, hesaplama, servis ve yönetim bölgeleri ayrılır, her rol yalnızca görevinin gerektirdiği yola bağlanır ve yönetim düzlemi ayrı kalır. Bu sıra uygulandığında bir hesabın riski bütün ortama yayılmaz. Keşif öncesinde mevcut ağ ve kimlik yapısını GPU sunucu çözümleri sayfasındaki kapsamla birlikte değerlendirin. Ağ bağımlılıkları için GPU sunucu için ağ ve depolama kontrol listesine de bakabilirsiniz.
Kaynaklar
- Ağ ve erişim kontrolü için ilgili üretici dokümantasyonu
- Kurumun kendi güvenlik politikası ve erişim kayıtları
