طراحی Redundant Network در مرکز داده کانتینری؛ مسیرهای A و B، MDA/HDA و جلوگیری از Single Point of Failure

  • فیدار کوثر
  • 1405/7/6
حذف کامل قطعی در شبکه دیتاسنتر کانتینری
طراحی Redundant Network در مرکز داده کانتینری؛ مسیرهای A و B، MDA/HDA و جلوگیری از Single Point of Failure

فهرست مطالب

 

پیاده‌سازی معماری Collapsed Core در یک دیتاسنتر لبه

 

۱.  چالش‌های طراحی شبکه در فضای محدود کانتینر

طراحی شبکه‌ در یک دیتاسنتر کانتینری، صرفاً کوچک‌سازی ابعاد تجهیزات نیست؛ بلکه نیازمند بازطراحی بنیادین مسیرهای فیزیکی (A و B) و پروتکل‌های منطقی در یک ریزمحیط متراکم است تا هرگونه نقطه منفرد خرابی (SPOF) از بین برود. تحقق تاب‌آوری مطلق و بدون وقفه (Fault Tolerant)، که در استانداردهای جهانی معادل با زیرساخت‌های رده‌بندی Rated-4 شناخته می‌شود، در محیط‌های ماکرو و دیتاسنترهای سنتی چالشی شناخته‌شده و نیازمند سرمایه‌گذاری‌های کلان است.

با این حال، اجرای همین سطح از افزونگی درون کالبد فیزیکی به‌شدت محدود یک کانتینر استاندارد ۲۰ فوت، نیازمند سطحی از مهندسی دقیق است که مرزهای طراحی شبکه و فیزیک زیرساخت را جابه‌جا می‌کند. در این فضاهای فشرده، که طراحان با محدودیت‌های شدید در سقف کاذب، کف کاذب و دیواره‌ها مواجه هستند، مهم‌ترین تهدید علیه دسترس‌پذیری زیرساخت، پدیده نقطه منفرد خرابی یا Single Point of Failure (SPOF) است.

یک طراحی بدون نقص باید SPOF را در دو بعد مجزا و درهم‌تنیده مهار کند:

  • بعد فیزیکی (سخت‌افزاری): جلوگیری از عبور مسیرهای توزیع A و B از یک سینی مشترک یا تغذیه از یک منبع واحد.
  • بعد منطقی (نرم‌افزاری): استقرار پروتکل‌های پیشرفته Active-Active برای جلوگیری از طوفان‌های ترافیکی و سناریوی Split-Brain.
استاندارد مرجع: تمامی الزامات زیرساختی، ابعاد تجهیزات، فواصل ایمنی الکترومغناطیسی و کلاس‌های دسترس‌پذیری مورد بحث در این گزارش مهندسی، مستقیماً بر مبنای آخرین ویرایش‌های قطعی استانداردهای جهانی از جمله ANSI/TIA-942-C (منتشر شده در می ۲۰۲۴)، ANSI/BICSI 002-2024، EN 50600-2-4 و چارچوب‌های ISO/IEC 22237 تدوین شده‌اند. استفاده از نسخه‌های منسوخ‌شده مانند TIA-942-A یا TIA-942-B در ممیزی‌های مدرن مراکز داده لبه (Edge) فاقد اعتبار است.

 

۲. بررسی استاندارد TIA-942-C (2024) برای Micro Edge Data Centers (µEDC)

با انتشار رسمی ویرایش جدید ANSI/TIA-942-C در می ۲۰۲۴، چارچوب‌های ارزیابی زیرساخت‌های مخابراتی دیتاسنترها دستخوش تغییرات بنیادین شد. این به‌روزرسانی واکنش مستقیمی به رشد تصاعدی بارهای کاری هوش مصنوعی (AI)، رایانش لبه (Edge Computing) و تکنولوژی‌های تراکم بالا است.

یکی از حیاتی‌ترین بخش‌های اضافه‌شده به این ویرایش، رسمیت بخشیدن به دسته‌بندی دقیق دیتاسنترهای لبه و تثبیت مفاهیم مراکز داده لبه میکرو (Micro Edge Data Centers یا µEDC) است. دیتاسنترهای کانتینری و ماژولار از منظر این استاندارد در طبقه‌بندی µEDC قرار می‌گیرند.

از منظر معماری سازه، الزامات حداقل تحمل بار کف (Floor Loading capacity) برای اتاق‌های کامپیوتر کوچکتر از ۲۰ متر مربع به ۵ کیلوپاسکال (5 kPa) کاهش یافته است که استقرار کانتینرهای شبکه را روی فونداسیون‌های لبه منطقی‌تر می‌کند.

تفاوت Type A و Type B در مراکز داده لبه (µEDC) چیست؟ بر اساس چارچوب‌های نوین صنعت مراکز داده لبه که هم‌راستا با رهنمودهای TIA-942-C توسعه یافته‌اند، مراکز داده لبه میکرو عموماً در دو استراتژی طبقه‌بندی می‌شوند:

جدول زیر مقایسه‌ای دقیق از این دو معماری برای استقرار کانتینرهای شبکه ارائه می‌دهد:

شاخص ارزیابی زیرساخت µEDC Type A (وابسته به شبکه / Cluster) µEDC Type B (مستقل / High-Availability)
استراتژی دسترس‌پذیری وابستگی به انتقال بی‌درنگ ترافیک به سایر نودهای کلستر در صورت قطعی. تکیه بر سخت‌افزارهای فیزیکی کاملاً افزونه درون کانتینر.
کاربرد در محیط کانتینری استقرار شبکه‌ای از کانتینرها در یک پردیس (Campus) به عنوان پشتیبان یکدیگر. استقرار یک کانتینر منفرد و ایزوله در سایت‌های دورافتاده.
تراکم تجهیزات (Density) متوسط؛ تاب‌آوری در سطح شبکه توزیع شده است. بسیار بالا؛ پیاده‌سازی معماری 2N فشرده در فضای محدود.
دستیابی به Fault Tolerance غیرمستقیم (از طریق ترکیب شبکه‌ای از چندین کانتینر Rated-2/3). نیازمند مهندسی افراطی در ایجاد مسیرهای ایزوله و دیوارهای ضدحریق.
نتیجه‌گیری مهندسی: طراحی یک دیتاسنتر کانتینری کاملاً مستقل (Type B) با تاب‌آوری مطلق (معادل Rated-4)، به‌دلیل محدودیت شدید در ایجاد فواصل فیزیکی و مسیرهای ایزوله، از نظر مهندسی بسیار چالش‌برانگیز است. رویکرد استراتژیک‌تر برای لبه، استفاده از شبکه‌ای از کانتینرهای Type A است که در آن خرابی یک نود به‌صورت منطقی توسط کانتینر مجاور جبران می‌شود.

 

پروتکل‌های شبکه دیتاسنتر

 

۳. پیاده‌سازی معماری MDA، HDA و EDA در دیتاسنتر کانتینری

تلاش برای تحمیل معماری سلسله‌مراتبی و گسترده سه‌لایه (Core, Distribution, Access) به یک کانتینر، منجر به هدررفت فضا، اتلاف پورت‌های نوری و افزایش نقاط شکست می‌شود. محیط‌های کانتینری نیازمند استفاده از معماری هسته فروپاشیده (Collapsed Core) یا ساختارهای فشرده Leaf-Spine هستند.

در این مدل، عملکردهای سوئیچینگ لایه توزیع و هسته در تجهیزات مرکزی مستقر در منطقه توزیع اصلی (MDA) ادغام شده و از طریق لینک‌های افزونه مستقیماً به سوئیچ‌های رک سرور (EDA) متصل می‌گردند. این کار زمان تاخیر (Latency) را برای برنامه‌های لبه به حداقل می‌رساند.

 

۳.۱. عرض الزامی رک‌های توزیع (MDA/HDA)

بر اساس رویه‌های برتر و الزامات استاندارد ANSI/TIA-942-C، هر رکی که نقش منطقه توزیع اصلی (MDA) یا افقی (HDA) را ایفا می‌کند، باید حداقل عرضی برابر با ۸۰۰ میلی‌متر (۳۱.۵ اینچ) داشته باشد. طراحان شبکه‌های کانتینری استفاده از رک‌های استاندارد ۶۰۰ میلی‌متری (۲۴ اینچ) سرور را برای استقرار تجهیزات مرکزی شبکه به‌شدت مغایر با رویه‌های استاندارد می‌دانند و این امر توصیه نمی‌شود.

رک‌های باریک فاقد محفظه‌های کناری کافی برای مدیریت تراکم بالای کابل‌های MPO و حفظ مسیرهای حیاتی جریان هوای تجهیزات شبکه هستند.

هشدار ایمنی: نادیده گرفتن لزوم استفاده از رک‌های ۸۰۰ میلی‌متری در محیط‌های MDA و استفاده از رک‌های ۶۰۰ میلی‌متری، یک خطای پرهزینه است. این اقدام منجر به آویزان شدن کابل‌ها در مسیر خروج هوای گرم (Exhaust) شده و مستقیماً باعث قطعی ناشی از حرارت (Thermal Shutdown) در تجهیزات گران‌قیمت شبکه می‌شود.

 

کلستر دیتاسنتر ماژولار

 

۴. طراحی فیزیکی مسیرهای A و B و حفاظت در برابر تداخل الکترومغناطیسی (EMI)

افزونگی فیزیکی زمانی محقق می‌شود که مسیرهای توزیع A و B با سخت‌گیری کامل از یکدیگر ایزوله باشند (Route Diversity). در یک کانتینر، عبور کابل‌های مسیر A و B از یک سینی بدون پارتیشن یا نقطه نفوذ (Penetration) مشترک، پدیده خطرناک «Cross-Contamination SPOF» را ایجاد می‌کند که می‌تواند باعث قطعی همزمان هر دو مسیر شود.

موضوع بحرانی دیگر، تداخل الکترومغناطیسی (EMI) است. هم‌جواری کابل‌های شبکه مسی با کابل‌های قدرت جریان متناوب، موجب افت کیفیت سیگنال و ایجاد SPOF منطقی می‌شود.

طراحان باید از ماتریس فواصل استاندارد زیر پیروی کنند:

نوع رسانه شبکه (Media) مجاورت با کابل برق حداقل فاصله ایمن رویکرد مهار در کانتینر
UTP (بدون شیلد - Cat6a) تک‌فاز ۱۱۰/۲۲۰ ولت 50 mm نصب دیواره جداکننده فلزی (Divider) در سینی کابل.
S/FTP (شیلددار - Cat6a) تک‌فاز ۱۱۰/۲۲۰ ولت 30 mm مقاومت ذاتی بالاتر به دلیل فویل محافظ.
کابل مسی (هر نوع) سه‌فاز ۴۸۰ ولت (چیلرها) 300 mm اجرای سینی‌های کاملاً مجزا (یکی در کف، یکی در سقف).
فیبر نوری (OS2 / OM4) هر ولتاژی 0 mm جداسازی صرفاً مکانیکی جهت جلوگیری از شکستن شیشه.

حفظ شعاع خمش فیبر نوری: در گوشه‌های زاویه‌دار سقف کانتینر، شعاع خمش کابل‌های MPO نباید هرگز از ۱۰ برابر قطر خارجی کابل (10x OD) در حالت ایستا و ۲۰ برابر در حالت کشش پویا کمتر شود، زیرا باعث ایجاد ریزترک‌ها در شیشه و ناپایداری لینک می‌شود.

 

۵. افزونگی منطقی و حذف SPOF در سطح پروتکل: EVPN-VXLAN و ESI-LAG

کامل‌ترین افزونگی فیزیکی در صورت وجود پروتکل‌های مسیریابی ضعیف در لایه نرم‌افزار بی‌فایده است. اگر دو سوئیچ افزونه نتوانند در لایه‌های ۲ و ۳ به‌درستی هماهنگ شوند، دیتاسنتر دچار طوفان ترافیکی (Broadcast Storm) یا فاجعه خطای مغز دونیم‌شده (Split-Brain) می‌شود.

پروتکل‌های قدیمی مانند STP (Spanning Tree Protocol) با مسدود کردن عمدی نیمی از مسیرهای فیزیکی، هدررفت ۵۰ درصدی ایجاد می‌کنند. پروتکل‌های اختصاصی مانند MC-LAG نیز محدودیت مقیاس‌پذیری و وابستگی به برند (Vendor Lock-in) دارند. استاندارد طلایی فعلی برای دیتاسنترهای کانتینری و لبه، پیاده‌سازی EVPN-VXLAN به همراه ESI-LAG است.

این معماری باز (Vendor-Agnostic)، امکان توزیع بار کاملاً فعال (All-Active) را روی تمامی لینک‌ها فراهم کرده و در زمان بروز خطا، ترافیک را در کسری از ثانیه هدایت می‌کند.

ماتریس مقایسه‌ای پروتکل‌های افزونگی شبکه
شاخص ارزیابی سنتی (STP) تکاملی (MC-LAG) مدرن (EVPN-VXLAN با ESI)
بهره‌وری مسیر Active-Standby (هدررفت ۵۰٪) Active-Active (محدود) All-Active Load Balancing
زمان همگرایی (Convergence) بسیار کند (ثانیه‌ تا دقیقه) سریع (میلی‌ثانیه) فوق‌سریع (ردیابی با BFD)
ریسک Split-Brain متوسط بالا (وابسته به Peer-Link) بسیار پایین (مدیریت با کنترلر BGP)

 

۵.۱. ماتریس سناریوهای بحران (Crisis Scenario Matrix)

جدول زیر نحوه پاسخگویی معماری توصیه‌شده را در مواجهه با قطعی‌های رایج تحلیل می‌کند:

سناریوی بحران (Crisis Scenario) ماهیت تهدید رفتار سیستم در معماری EVPN-VXLAN
قطعی فیزیکی فیبر نوری در سینی مسیر A Physical SPOF ترافیک به‌طور آنی (Sub-second) بدون قطعی سرویس به مسیر فیزیکی B و سوئیچ افزونه دوم هدایت می‌شود.
قطع شدن لینک کنترلی بین دو سوئیچ هسته Split-Brain پروتکل BFD قطعی را شناسایی کرده و قابلیت Mass MAC Withdrawal از بروز طوفان ترافیکی جلوگیری می‌کند.
از کار افتادن سرمایش در رک پردازشی (EDA) Thermal Choking در معماری Type A، بارهای کاری از طریق بستر شبکه شفاف، سریعاً به نود کانتینری مجاور منتقل می‌شوند (Failover).
نتیجه‌گیری مدیریتی: انتخاب استراتژی MC-LAG صرفاً برای تجهیزات قدیمی‌تر که توان پردازش کنترلرهای BGP را ندارند قابل توجیه است. برای میزبانی بارهای کاری حساس، پیاده‌سازی EVPN-VXLAN و ESI-LAG استراتژی نهایی حذف SPOF منطقی در زیرساخت سازمان خواهد بود.

 

کابل‌کشی دیتاسنتر کانتینری

 

۶. کلاس‌بندی زیرساخت کابل‌کشی بر اساس استانداردهای EN 50600 و ISO/IEC 22237

در پروژه‌های بین‌المللی و صنعتی، انطباق با استاندارد اروپایی EN 50600-2-4 و همتای جهانی آن ISO/IEC 22237 الزامی است. این استانداردها زیرساخت شبکه را به چهار کلاس طبقه‌بندی می‌کنند:

  • کلاس ۱ و ۲ (مسیر یگانه): دارای SPOF قطعی در مسیر توزیع.
  • کلاس ۳ (مسیر چندگانه): ارائه قابلیت نگهداری همزمان (Concurrent Maintainability). در این سطح، طراحی افزونه تنها زمانی ارزشمند است که بتوان هر بخش از مسیر فیزیکی شبکه یا تجهیزات فعال را برای تعمیرات یا به‌روزرسانی قطع کرد، بدون آنکه وقفه‌ای در عملکرد تجهیزات IT رخ دهد.
  • کلاس ۴ (مقاوم در برابر خطا - Fault Tolerant): عالی‌ترین سطح تاب‌آوری. شبکه می‌تواند مستقلاً و بدون وقفه، خطای پیش‌بینی‌نشده (مثل آتش‌سوزی در سینی کابل) را ایزوله و ترافیک را مسیردهی مجدد کند.

 

۷. چک‌لیست اجرایی ممیزی شبکه در دیتاسنتر کانتینری

عدم رعایت موارد زیر پیش از فاز اجرای پروژه، دستیابی به استانداردهای مقاومت در برابر خطا (نظیر کلاس ۴ یا Rated-4) را با ریسک جدی مواجه می‌کند:

  • عرض رک‌های توزیع: آیا عرض ۸۰۰ میلی‌متر برای رک‌های MDA جهت عبور ایمن حجم بالای کابل‌های شبکه رعایت شده است؟
  • فواصل حیاتی EMI: آیا حریم ۵۰ میلی‌متری کابل‌های UTP از برق ۲۲۰ ولت و فاصله ۳۰۰ میلی‌متری از برق ۴۸۰ ولت سه‌فاز رعایت شده است؟
  • ایزولاسیون Cross-Contamination: آیا ورودی‌های فیزیکی مسیر A و B در بدنه کانتینر کاملاً از هم فاصله دارند؟
  • شعاع خمش اپتیکال: آیا محدودیت 10x OD در سینی‌های زاویه‌دار کانتینر مهار شده است؟
  • حذف SPOF نرم‌افزاری: آیا از پروتکل‌های Active-Active واقعی (نظیر EVPN) به‌جای پروتکل مسدودکننده STP استفاده شده است؟

 

جداسازی فیزیکی کابل‌ها

 

۸. پاسخ به سوالات کلیدی و متداول شبکه (FAQ)

۸.۱. آیا استفاده از دو سوئیچ شبکه برای تضمین آپتایم کافی است؟

خیر. در اختیار داشتن دو قطعه سخت‌افزاری تنها بخشی از الزامات است. این سرمایه‌گذاری تنها زمانی مؤثر است که مسیر فیزیکی کابل‌کشی، منابع تغذیه مجزا و پروتکل‌های منطقی مسیریابی (مانند EVPN) نیز کاملاً مستقل و ایزوله باشند. در غیر این صورت، آسیب به سینی مشترک یا یک باگ نرم‌افزاری می‌تواند کل سیستم را فلج کند.

۸.۲. چرا رک‌های ۶۰۰ میلی‌متری برای شبکه‌های مرکزی توصیه نمی‌شوند؟

با افزایش چشمگیر تراکم پورت‌ها و الزامات TIA-942-C، رک‌های باریک ۶۰۰ میلی‌متری فاقد فضای جانبی برای نظم‌دهنده‌های کابل (Vertical Managers) هستند. تجمع کابل‌ها در پشت تجهیزات سوئیچینگ مانع دفع حرارت شده و به سرعت باعث خفگی حرارتی (Thermal Choking) می‌گردد.

۸.۳. آیا کابل‌های فیبر نوری باید از کابل‌های برق جدا شوند؟

بله. اگرچه فیبر نوری از جنس شیشه بوده و در برابر امواج مغناطیسی (EMI) مصون است، اما استانداردهای صنعتی ایجاب می‌کنند که به‌دلیل شکنندگی شدید شیشه، فیبرها از کابل‌های ضخیم و سنگین برق از طریق پارتیشن‌های فیزیکی جدا شوند تا حین تعمیرات دچار کشیدگی یا شکستگی نشوند.

۸.۴. پدیده Split-Brain چیست و چگونه مدیریت می‌شود؟

این سناریو زمانی رخ می‌دهد که پیوند کنترلی بین دو سوئیچ افزونه قطع شود. در این حالت هر دو سوئیچ گمان می‌کنند قطب فعال شبکه هستند که به طوفان ترافیکی (Broadcast Storm) ختم می‌شود. راهکار اصلی، مهاجرت به معماری EVPN-VXLAN و استفاده از پروتکل ردیابی لحظه‌ای BFD است.

 

۹. جمع‌بندی استراتژیک

طراحی و اجرای شبکه‌ای کاملاً افزونه برای حفظ تاب‌آوری در محیط به شدت محدودِ دیتاسنتر کانتینری، تقاطع پیچیده‌ای از فیزیک امواج، استانداردهای بین‌المللی و معماری پیشرفته نرم‌افزار است. پیروی از معماری‌های سه‌لایه سنتی یا نادیده گرفتن فواصل EMI، در نهایت به بروز قطعی‌های فاجعه‌بار و ایجاد گلوگاه‌های حرارتی منجر می‌شود.

معماران زیرساخت باید بپذیرند که «افزونگی دوگانه سخت‌افزاری بدون بهره‌مندی از یک استراتژی منطقی قدرتمند نرم‌افزاری و قابلیت نگهداری همزمان، سرابی بیش نیست.» ترکیب مسیرهای فیزیکی ایزوله کلاس ۴ با معماری شبکه‌های نرم‌افزارمحور مانند EVPN-VXLAN، تنها راهکار عملیاتی برای از میان برداشتن ابدی Single Point of Failure است.

ممیزی و طراحی تخصصی شبکه دیتاسنتر کانتینری

برای تضمین تاب‌آوری مطلق و انطباق با سخت‌گیرانه‌ترین الزامات TIA-942-C و EN 50600 در محیط‌های متراکم لبه، معماری شبکه خود را پیش از فاز استقرار ارزیابی کنید. متخصصان ما آماده ارائه مشاوره در زمینه طراحی شبکه‌های بدون SPOF هستند.

درخواست مشاوره مهندسی زیرساخت

 

نظرات :
ارسال نظر :

بعد از ورود به حساب کاربری می توانید دیدگاه خود را ثبت کنید