Reliability Friday 10: Bandwidth %30'dayken Firewall Neden Packet Drop Yapar?

Kısa cevap: Bandwidth %30'da görünürken firewall packet drop yapabilir, çünkü firewall kapasitesi yalnızca Mbps veya Gbps değildir. Aynı anda farklı sınırlar çalışır: packet rate (PPS), connection rate (CPS), concurrent session sayısı, TLS / IPS inspection ve packet buffer. Birinin dolması, trafik için yeterlidir. "Bandwidth boşsa firewall rahat çalışıyordur" varsayımı packet-rate veya session-rate darboğazını gizler. Önce hangi kapasitenin dolduğunu bulun.

Don't Deploy on Friday. Verify on Friday.

Bu haftanın kontrolü

Aynı zaman aralığında üç kontrol yapın ve 5 dakikalık ortalama yerine kısa peak'leri görün.

1. Traffic shape
   Bandwidth ile PPS peak'lerini karşılaştırın.
2. Session pressure
   CPS, active session ve session-table kullanımına bakın.
3. Processing path
   System / dataplane CPU, offload, inspection, packet buffer
   ve drop reason'ları birlikte inceleyin.

Firewall kapasitesini hâlâ yalnızca Gbps ve genel CPU ile mi izliyorsunuz?

Beklenen çıktı

Aynı trafik farklı yük üretir. Az sayıda büyük packet ile çok sayıda küçük packet aynı bandwidth'i üretebilir; karuseldeki örnekte 1 Gbps'i üç büyük packet de doldurur, yirmi dört küçük packet de. Fakat küçük packet'larda firewall'ın saniyede işlemesi gereken packet sayısı yükselir. Yeni connection'lar ayrıca policy, NAT, route, inspection ve session setup adımlarından geçer. Bu yüzden bandwidth grafiği düz dururken PPS ve CPS peak'leri bir kapasiteyi doldurabilir.

CPU tek değildir. Firewall'ın system veya management CPU'su ile trafiği işleyen kaynaklar aynı olmayabilir; packet processing dataplane CPU, NPU / ASIC / SPU ve inspection engine katmanlarına dağılabilir. Genel CPU'nun düşük görünmesi, packet-processing yolunun rahat olduğu anlamına gelmez. Bazı platformlarda özel işlemciler için utilization yerine offload, buffer ve drop metrikleri izlenir.

Sinyalleri birlikte okuyun:

Bandwidth düşük + PPS yüksek + buffer drop: packet-rate baskısını araştırın.
Bandwidth düşük + CPS yüksek + session setup drop: connection churn, scan veya retry trafiğini araştırın.
System CPU düşük + dataplane / buffer baskısı yüksek: yanlış işlem katmanına bakıyorsunuz.
Kaynaklar normal + belirli policy'de drop: kapasite yerine rule veya threshold davranışını inceleyin.

Ne zaman aksiyon alınmalı

Eşik sizin baseline'ınıza bağlıdır; bir kapasitenin dolup dolmadığını yüzde değil, drop söyler. Packet buffer drop, session setup drop ya da belirli bir policy'de drop görüyorsanız o kapasite dolmuştur ve bandwidth'in ne gösterdiğinin önemi yoktur. Soruna göre:

Yoğun source ve destination'ı bulun.
Gereksiz connection churn'ü azaltın.
DoS / rate limit'i baseline'a göre ayarlayın.
Offload dışı ve inspection gören trafiği ayırın.
Kapasiteyi Gbps ile değil, darboğaz metriğiyle boyutlandırın.

Sonrasında drop rate ve connection setup p99 düşmeli.

Risk

Drop görülünce limitleri kontrolsüz artırmak da packet buffer ve session table üzerindeki baskıyı büyütebilir. Yanlış refleks, yanlış kapasiteyi büyütmektir: bandwidth'i yükseltmek PPS darboğazını çözmez; session table'ı büyütmek connection churn'ün kaynağını ortadan kaldırmaz. Hangi kapasitenin dolduğu bulunmadan alınan her önlem, parayı ve bakım penceresini yanlış yere harcar.

Otomatikleştirin

Haftalık elle kontrol bir başlangıçtır, varılacak yer değil. Bandwidth'in yanına PPS, CPS, session-table kullanımı, dataplane / NPU yükü, packet buffer ve drop reason metriklerini aynı panoya alın; peak'leri 5 dakikalık ortalamanın değil kısa aralıkların üstünden izleyin ve drop başladığında uyarı üretin. Bu panonun kurulumu observability ve performans ve kapasite analitiği hizmetlerimizin kapsamındadır; firewall'ın işletimi ise ağ güvenliği hizmetimizin.

Eclit notu

Bandwidth, trafik hacmini gösterir. Firewall yükünü ise her packet ve session için yapılan gerçek iş belirler.

Serinin önceki yazısında load balancer retry'larının backend trafiğini nasıl katladığını saymıştık; retry trafiği bu haftaki CPS baskısının kaynaklarından biridir. Firewall'ın ne yaptığına dair temel için Firewall nedir? yazısına bakabilirsiniz.

Every Friday. One Production Check.