طراحی Cooling Loop برای مرکز داده کانتینری؛ Primary Loop، Secondary Loop و Heat Rejection

  • فیدار کوثر
  • 1405/7/24
طراحی Cooling Loop برای دیتاسنتر کانتینری.
طراحی Cooling Loop برای مرکز داده کانتینری؛ Primary Loop، Secondary Loop و Heat Rejection
 

گذار شتابان به سمت پردازش‌های سنگین هوش مصنوعی (AI) و محاسبات با کارایی بالا (HPC)، پارادایم‌های سنتی تهویه را کاملاً تغییر داده است. معماران زیرساخت در هنگام طراحی دیتاسنتر ماژولار با محدودیت‌های شدید فضایی، حرارتی و محیطی مواجه هستند که استفاده از سیستم‌های هوا-خنک قدیمی را عملاً غیرممکن می‌سازد.

در یک مرکز داده ماژولار با چگالی بالا، و به‌ویژه در مرکز داده کانتینری به عنوان یک زیرمجموعه حیاتی از معماری ماژولار، چالش اصلی ایزوله کردن ایمن سیستم‌های دفع حرارت بیرونی که در معرض شرایط سخت آب‌وهوایی قرار دارند از میکروکانال‌های ظریف تجهیزات پردازشی درون سرورها است؛ آن هم بدون اینکه اثربخشی مصرف انرژی (PUE) یا پایداری شبکه مختل شود.

این مقاله مرجع، معماری دقیق تفکیک هیدرولیکی لوپ‌ها، نقش حیاتی واحد توزیع مایع خنک‌کننده (CDU)، انتخاب مهندسی شیمی سیالات و استراتژی‌های Heat Rejection را بر اساس جدیدترین استانداردهای ASHRAE برای یک مرکز داده کانتینری کالبدشکافی می‌کند.

 

۱. معماری دوگانه: چرا جداسازی Primary Loop و Secondary Loop الزامی است؟

سیستم خنک‌کننده مایع مدرن در مراکز داده یک لوله ممتد نیست. جداسازی هیدرولیکی لوپ‌ها به معنای تفکیک کامل آب تأسیسات (FWS) در محیط خشن بیرونی، از شبکه کنترل‌شده و با خلوص بالای تجهیزات (TCS) در محیط داخلی است.

این معماری دوگانه برای مدیریت مستقل فشارهای مکانیکی، کنترل متریال شیمیایی، و جلوگیری از انتقال آلودگی به سرورهای دیتاسنتر کانتینری کاملاً الزامی می‌باشد.

  • مدیریت مستقل فشار: جلوگیری از آسیب به میکروکانال‌های تجهیزات پردازشی.
  • ایزولاسیون شیمیایی: جلوگیری از ورود آلاینده‌های بیرونی به محیط داخلی دیتاسنتر.
  • محافظت اقلیمی: استقلال بخش تجهیزات IT از تغییرات و نوسانات جوی محیط کانتینر.

در طراحی زیرساخت مدرن، مفهوم «خنک‌کننده مایع» نیازمند تفکیک دقیق مرزهاست. سیستم Primary Loop یا سیستم آب تأسیسات (Facility Water System)، یک شبکه در مقیاس صنعتی است که مستقیماً به تجهیزات دفع حرارت بیرونی متصل می‌شود و نوسانات شدید اقلیمی را تحمل می‌کند.

در مقابل، Secondary Loop یا سیستم خنک‌کننده تجهیزات (Technology Cooling System)، یک محیط هیدرولیکی کاملاً ایزوله است که منحصراً برای تبادل حرارت با Cold Plateهای مستقر بر روی پردازنده‌ها طراحی شده است.

در فضای بسیار محدود یک مرکز داده کانتینری، این جداسازی به مهندسان اجازه می‌دهد تا مانیفولدهای توزیع و لوله‌کشی‌های متراکم را با حفظ ایمنی فیزیکی سرورها، با بالاترین راندمان جای‌گذاری کنند.

 

۱.۱ واحد توزیع مایع خنک‌کننده (CDU): قلب تپنده معماری

واحد توزیع مایع خنک‌کننده (Coolant Distribution Unit) مرز فیزیکی و شیمیایی بین FWS و TCS است. این سیستم تنها یک پمپ انتقال نیست؛ بلکه مجموعه‌ای متشکل از مبدل حرارتی صفحه‌ای (Plate-and-Frame Heat Exchanger)، پمپ‌های دور متغیر (VFD) با افزونگی N+1، سنسورهای فشار، و سیستم فیلتراسیون ذرات است.

یکی از مهم‌ترین پارامترهای ترمودینامیکی در طراحی CDU، دمای تقرب یا «Approach Temperature» است. این پارامتر به اختلاف دمای (Delta T) مورد نیاز در دو سمت مبدل حرارتی اشاره دارد که انتقال مؤثر گرما از لوپ ثانویه به لوپ اولیه را تضمین می‌کند.

 

 The FWS / CDU / TCS Hydraulic Decoupling Topology

 

نتیجه‌گیری مهندسی: سیستم CDU در دیتاسنتر ماژولار صرفاً یک پمپ توزیع نیست؛ بلکه یک سپر ترمودینامیکی محافظتی است که قطعات حساس IT را در برابر ناپایداری‌های شیمیایی و فشارهای مخرب هیدرولیکی موجود در لوپ تأسیسات خارجی کاملاً ایزوله می‌کند.

۲. مهندسی سیالات: تفاوت‌های شیمیایی FWS و TCS

استفاده از آب خالص و بدون افزودنی (Uninhibited) یکی از مرگبارترین اشتباهات مهندسی در طراحی سیستم‌های خنک‌سازی مرکز داده است که به‌سرعت منجر به رسوب‌گذاری بیولوژیکی و خوردگی گالوانیک می‌شود.

به‌دلیل تفاوت بنیادین ماهیت عملیاتی دو لوپ، ترکیب شیمیایی سیالات آن‌ها باید کاملاً متفاوت و مختص به محیط استقرار طراحی شود.

 

۲.۱ سیال Secondary Loop (TCS): ایمنی و خلوص

لوپ ثانویه در یک دیتاسنتر کانتینری مستقیماً از روی پردازنده‌های حیاتی و بردهای حساس عبور می‌کند. سیال استاندارد برای این بخش، مخلوط پروپیلن گلیکول (PG25) یا آب دیونایز شده (Deionized Water) حاوی بازدارنده‌های خوردگی است. مهم‌ترین دلیل استفاده از PG25، ویژگی غیرسمی بودن آن است.

در صورت خرابی ناگهانی یک اتصال سریع (Quick-Disconnect) و نشت مایع بر روی تجهیزات یا تکنسین‌ها، خطرات جانی به صفر می‌رسد و پروتکل‌های پاک‌سازی محیطی به‌شدت ساده‌تر و کم‌هزینه‌تر خواهد بود.

علاوه بر این، در شبکه TCS برای محافظت از میکروکانال‌های ظریف Cold Plateها در برابر گرفتگی، تعبیه فیلتراسیون مطلق (Absolute Filtration) با دقت ۲۵ تا ۵۰ میکرون کاملاً الزامی است تا مانع از افت فشار و کاهش راندمان انتقال حرارت شود.

 

مدار TCS خنک‌کننده مایع

 

۲.۲ سیال Primary Loop (FWS): انتقال حرارت و مقاومت در برابر یخ‌زدگی

در لوپ خارجی دیتاسنتر کانتینری (FWS) که مستقیماً در معرض هوای آزاد و شرایط خشن جوی است، اتیلن گلیکول (EG) انتخاب مهندسی ارجح است. اگرچه EG ماده‌ای سمی است، اما دارای رسانایی حرارتی بالاتری نسبت به PG بوده و ویسکوزیته سینماتیک کمتری دارد.

این ویژگی باعث می‌شود انرژی مورد نیاز برای پمپاژ در مسیرهای طولانیِ خارج از کانتینر به‌شدت کاهش یابد که به معنای صرفه‌جویی در هزینه‌های عملیاتی (OPEX) است.

مهم‌تر از همه، EG در محیط‌های خشن، محافظت در برابر یخ‌زدگی تا دماهای بسیار پایین (بسته به میزان غلظت، نظیر ۳۴- درجه سانتی‌گراد برای غلظت ۵۰٪) را برای قطعات گران‌قیمت Heat Rejection فراهم می‌کند.

برای دستیابی به این سطح از پایداری فیزیکی، غلظت اتیلن گلیکول بر اساس حداقل دمای زمستانی اقلیم محل استقرار، معمولاً بین ۳۰٪ تا ۵۰٪ کالیبره می‌شود.

ماتریس مقایسه‌ای و انتخاب مواد شیمیایی (FWS در برابر TCS): این جدول به طراحان کمک می‌کند تا سیال صحیح را بر اساس مرز هیدرولیکی سیستم انتخاب کنند.

ویژگی ارزیابی پروپیلن گلیکول (PG25) - استاندارد TCS اتیلن گلیکول (EG) - استاندارد FWS
موقعیت استقرار درون دیتاسنتر ماژولار، در مجاورت فیزیکی IT فضای باز بیرون کانتینر، متصل به تجهیزات دفع حرارت
سمیت (Toxicity) غیرسمی (ایمن برای پرسنل و پاک‌سازی نشت) سمی (نیازمند پروتکل‌های سخت‌گیرانه مهار نشت)
راندمان انتقال حرارت مطلوب عالی (کاهش بار پمپ‌ها در فواصل طولانی)
الزام فیلتراسیون ذرات فیلتراسیون مطلق ۲۵ تا ۵۰ میکرون (حیاتی) فیلتراسیون استاندارد صنعتی
مقاومت در برابر یخ‌زدگی بالا فوق‌العاده بالا (مناسب برای اقلیم‌های کوهستانی)
تحلیل ماتریس: تمایز شیمیایی بین لوپ‌های دیتاسنتر صرفاً یک انتخاب عملکردی نیست، بلکه مرز میان ایمنی سخت‌افزار درون کانتینر (توسط PG25) و بقای تجهیزات بیرونی در فصل سرما (توسط EG) را تعیین می‌کند.

 

۲.۳ پارامترهای حیاتی کیفیت آب (ASHRAE TC 9.9)

برای جلوگیری از استهلاک زودرس و تضمین حداکثر طول عمر زیرساخت، پارامترهای شیمیایی سیال باید به‌صورت پیوسته پایش شوند:
  • سطح pH: باید همواره بین ۶.۸ تا ۸.۵ حفظ شود تا سیال خاصیت خورندگی اسیدی یا پتانسیل رسوب‌گذاری قلیایی پیدا نکند.
  • هدایت الکتریکی (Conductivity): در سیستم‌های دیونایز شده، این مقدار باید زیر ۱۰۰ میکرو زیمنس بر سانتی‌متر (μS/cm) باقی بماند تا خطر خوردگی گالوانیک کاملاً از بین برود.
  • کدورت (Turbidity): این شاخص باید کمتر از ۲۰ NTU باشد تا مبدل‌های حرارتی صفحه‌ای راندمان انتقال حرارت خود را از دست ندهند.
استاندارد مرجع: تمامی مقادیر شیمیایی ذکر شده، تابع ویرایش پنجم (۲۰۲۱) استاندارد ASHRAE TC 9.9 و راهنماهای تأیید شده توسط انجمن Open Compute Project (OCP) برای سیستم‌های پیشرفته Liquid Cooling می‌باشند.
هشدار ایمنی: ترکیب فلزات غیرهم‌نام (مانند مس در قطعات سرور و آلومینیوم در مانیفولدها) در شبکه لوپ بدون استفاده از بازدارنده‌های آنودیک (Anodic Inhibitors) قوی، به سرعت باعث پدیده خوردگی گالوانیک و سوراخ‌شدگی لوله‌ها خواهد شد.

 

۳. طراحی Heat Rejection و کلاس‌های ASHRAE

به دلیل آنکه دیتاسنتر کانتینری فاقد حفاظ فیزیکی کنترل‌شده‌ی یک ساختمان بزرگ است، تجهیزات نهایی دفع حرارت (Heat Rejection) باید به‌صورت بی‌نقصی با اقلیم پیرامونی هماهنگ و مهندسی شوند.

 

۳.۱ کلاس‌های دمایی ASHRAE برای Liquid Cooling

سازمان بین‌المللی ASHRAE در کمیته TC 9.9، سیستم‌های خنک‌کننده مایع را در شش کلاس طبقه‌بندی کرده است: W17، W27، W32، W40، W45، و +W.

عدد درج شده در کنار حرف W، نشان‌دهنده حداکثر دمای مجاز سیال تامین (Supply Water Temperature) بر حسب سانتی‌گراد است که می‌تواند با ایمنی کامل وارد تجهیزات IT شود.

اهمیت استراتژیک این کلاس‌ها در این است که اگر یک مرکز داده ماژولار از سخت‌افزارهای سازگار با کلاس‌های بالاتری نظیر W40 استفاده کند، مهندسان می‌توانند سیستم دفع حرارت را در اکثر نقاط جهان صرفاً بر پایه فناوری Free Cooling (سرمایش بدون نیاز به مدار تبرید تراکمی) طراحی کنند. این معماری باعث سقوط چشمگیر هزینه‌های مصرف برق مرکز داده می‌شود.

 

۳.۲ تجهیزات نهایی دفع حرارت

انتخاب سخت‌افزار نهایی دفع حرارت در فضای باز، وابستگی مستقیمی به کلاس ASHRAE سخت‌افزارها و شرایط اقلیمی منطقه استقرار دارد:
  • درای کولرها (Dry Coolers): راهکار ایده‌آل برای کلاس‌های حرارتی W32 تا W40. از آنجا که این سیستم‌ها در یک چرخه کاملاً بسته عمل می‌کنند و آب مصرف نمی‌کنند (مصرف آب صفر)، شاخص اثربخشی مصرف آب (WUE) را بهینه‌سازی کرده و برای استقرار مرکز داده کانتینری در مناطق بیابانی یا سایت‌های Edge با بحران آب، بهترین گزینه محسوب می‌شوند.
  • برج‌های خنک‌کننده تبخیری (Evaporative Towers): برای کلاس‌های برودتی W17/W27 با ظرفیت‌های حرارتی عظیم استفاده می‌شوند. این سیستم‌ها با استفاده از پتانسیل گرمای نهان تبخیر، حرارت را دفع می‌کنند؛ اما متقابلاً نیازمند تصفیه شیمیایی مداوم و مصرف بالای آب جبرانی (Makeup Water) هستند که OPEX را افزایش می‌دهد.
  • چیلرهای هوا-خنک (Air-Cooled Chillers): زمانی که رساندن دما به حد W17 در یک اقلیم گرمسیر ضروری باشد، هوای محیط به تنهایی قادر به خنک‌سازی سیال نیست و استفاده از مدارهای تبرید فعال (Active Refrigeration) اجتناب‌ناپذیر است.

 

دیتاسنتر کانتینری و Dry Cooler

 

ماتریس تصمیم‌گیری دفع حرارت بر اساس کلاس ASHRAE و اقلیم: این جدول مبنای انتخاب سیستم برودتی را بر اساس محدودیت منابع آب و برق تبیین می‌کند.

نوع تجهیزات دفع حرارت سازگاری با کلاس ASHRAE شاخص مصرف آب (WUE) بهترین سناریوی کاربرد برای مرکز داده کانتینری
درای کولر (Dry Cooler) W32, W40, W45 بی‌نظیر (نزدیک به صفر) سایت‌های Edge، محیط‌های بیابانی با بحران آب، تمرکز بر کاهش OPEX.
برج تبخیری (Cooling Tower) W17, W27 ضعیف (مصرف آب بالا) پروژه‌های با مقیاس بسیار بزرگ و دسترسی نامحدود به منابع آب پایدار.
چیلر تراکمی (Active Chiller) W17, W27 بسیار خوب مناطق گرمسیر که نیازمند قطعی دماهای پایین‌تر از دمای محیط هستند.
تحلیل ماتریس: انتخاب درای کولر مستلزم استفاده از سرورهای سازگار با دماهای بالاتر (نظیر کلاس W40) است؛ این یک مصالحه مهندسی بین افزایش مقطعی هزینه تجهیزات IT در برابر کاهش دائمی هزینه‌های نگهداری تبرید است.
نتیجه‌گیری مدیریتی: انتخاب نوع Heat Rejection یک مصالحه استراتژیک بین بودجه سرمایه‌ای (CAPEX) سرورها و هزینه‌های عملیاتی (OPEX) زیرساخت است. سرمایه‌گذاری روی سرورهای مقاوم در برابر دمای بالاتر، امکان استفاده از درای کولرها را فراهم کرده و هزینه‌های هنگفت برق و آب در طول چرخه حیات دیتاسنتر را برای همیشه حذف می‌کند.

 

۴. محاسبات هیدرولیک و افزونگی در محیط کانتینری

برای تبدیل طراحی تئوری به یک مهندسی عملی و پیاده‌سازی اصولی در یک مرکز داده کانتینری، باید محاسبات مکانیکی سیالات و استانداردهای سخت‌گیرانه افزونگی را به درستی پیاده‌سازی کرد.

 

۴.۱ محاسبه نرخ جریان (GPM Flow Rate) و بهینه‌سازی فضا

برای سایزینگ مهندسی پمپ‌ها و تعیین دقیق قطر لوله‌ها، فرمول پایه هیدرولیک در سیستم‌های انتقال حرارت مایع به صورت زیر تعریف می‌شود:

GPM = (BTU/hr) ÷ (500 × ΔT)

  • GPM: دبی جریان به گالن بر دقیقه.
  • BTU/hr: بار حرارتی تولید شده توسط سخت‌افزارهای پردازشی.
  • عدد ثابت ۵۰۰: ضریبی مشتق‌شده از وزن مخصوص و ظرفیت گرمایی ویژه آب در استانداردهای پایه مهندسی HVAC.
  • ΔT (دلتا تی): اختلاف دمای سیال رفت و برگشت به واحد فارنهایت.
تحلیل مهندسی توزیع فضا: فضای داخل یک کانتینر بسیار ارزشمند و محدود است. استراتژی معماران حرفه‌ای در این شرایط، افزایش عمدی Delta T (برای مثال از ۱۰ به ۱۵ درجه فارنهایت) در فرآیند طراحی است. بر اساس فرمول فوق، با عریض‌تر شدن Delta T، نرخ جریان (GPM) مورد نیاز سیستم به‌شدت کاهش می‌یابد. این کاهش جریان به مهندسان طراح اجازه می‌دهد از لوله‌هایی با قطر کمتر و پمپ‌هایی با ابعاد و توان پایین‌تر استفاده کنند. در نتیجه، هم فضای فیزیکی ارزشمند درون کانتینر حفظ شده و هم هزینه‌های پمپاژ (انرژی) تقلیل می‌یابد.

 

معماری 2N Redundancy پمپ‌ها

 

۴.۲ الزامات افزونگی TIA-942-C (Tier III & Tier IV)

استاندارد TIA-942-C قوانین سخت‌گیرانه‌ای برای تاب‌آوری مکانیکی سیستم‌های سرمایش مشخص می‌کند که تفاوت اصلی میان یک دیتاسنتر معمولی و یک مرکز داده با قابلیت اطمینان حیاتی را رقم می‌زند.

تحلیل افزونگی مکانیکی در TIA-942-C: این جدول محدودیت‌ها و تعهدات ساختاری برای رسیدن به بالاترین سطح پایداری را نشان می‌دهد.

شاخص پایداری سیستم Tier III (نگهداری همزمان - Concurrent Maintainability) Tier IV (تحمل خطا - Fault Tolerance)
معماری پمپ‌های CDU N+1 با وجود مسیرهای توزیع دوگانه و شیرهای ایزوله (Valving). 2N کاملاً مجزا و ایزوله شده به لحاظ فیزیکی و مسیر توزیع.
رفتار در زمان قطع برق در زمان استارت ژنراتور، تاخیر حرارتی کوتاه قابل قبول است. نیازمند پشتیبانی مکانیکی پمپ‌های CDU توسط UPS (سرمایش پیوسته).
هدف عملیاتی امکان خارج کردن هر پمپ یا CDU برای تعمیرات بدون قطعی سرورها. بقای قطعی سرویس حتی در صورت بروز یک خطای بحرانی فیزیکی.
تحلیل ماتریس: در رک‌های با چگالی بالا، رسیدن به سطح Tier IV نیازمند نگاهی فراتر از افزونگی صرف است؛ سیستم باید قابلیت سرمایش بی‌وقفه را حتی در زمان انتقال سورس‌های انرژی اثبات کند. در سطح Tier IV، مفهوم Continuous Cooling (سرمایش پیوسته) حیاتی است. در محیط‌های پر تراکم، قطع برق باعث می‌شود پردازنده‌ها در کسری از ثانیه به مرز ذوب حرارتی برسند. بنابراین، در دیتاسنتر ماژولار فقط داشتن ژنراتور پشتیبان کافی نیست؛ پمپ‌های مکانیکی سیستم CDU باید به UPS متصل باشند تا در فاصله ۱۵ الی ۳۰ ثانیه‌ای که ژنراتورها روشن و همگام می‌شوند، جریان مایع مطلقاً متوقف نشود.علاوه بر این، تجهیزات دفع حرارت بیرونی (مانند درای کولرها) وابستگی مکانیکی شدیدی به تداوم جریان سیال دارند تا در صورت توقف پمپ‌ها در سرمای شدید محیطی، دچار یخ‌زدگی و آسیب ساختاری نشوند.

 

۵. ریسک‌های عملیاتی و نقطه شبنم (Dew Point)

یکی از مرگبارترین ریسک‌های عملیاتی در سیستم Cooling Loop، پدیده میعان یا رسیدن به نقطه شبنم است. قانون ترمودینامیکی در مراکز داده حکم می‌کند که دمای سیال تامین‌کننده (Supply Temperature) در سیستم ثانویه (TCS) باید همواره حداقل ۲ درجه سانتی‌گراد بالاتر از نقطه شبنم محیط هوای داخل کانتینر نگه‌داشته شود.
هشدار ایمنی: اگر دمای آب سرد ورودی به سرورهای دیتاسنتر به زیر دمای نقطه شبنم هوای اتاق تقلیل یابد، رطوبت هوا بلافاصله روی لوله‌های مانیفولد و Cold Plateها تقطیر می‌شود. ریزش حتی چند قطره آب مقطر بر روی بردهای فعال الکترونیکی، باعث اتصال کوتاه و نابودی آنی کلاسترهای گران‌قیمت پردازشی خواهد شد.

 

خطر Dew Point Condensation_

 

۶. سوالات متداول (FAQ)

  • تفاوت اصلی بین Primary Loop و Secondary Loop چیست؟ سیستم Primary Loop (FWS) یک شبکه بیرونی و مقاوم در برابر شرایط جوی است که به تجهیزات دفع حرارت (مانند درای کولر) متصل بوده و معمولاً از اتیلن گلیکول تغذیه می‌کند. در مقابل، سیستم Secondary Loop (TCS) مدار داخلی، بسیار خالص و فیلتر شده‌ای (عموماً حاوی پروپیلن گلیکول) است که در دیتاسنتر ماژولار مستقیماً وظیفه تبادل حرارت با سخت‌افزارهای IT را بر عهده دارد. این دو سیال هرگز با یکدیگر مخلوط نمی‌شوند.
  • کلاس‌های مایع خنک‌کننده ASHRAE به چه معنا هستند؟ کلاس‌هایی نظیر W17 تا +W، استانداردهای دمایی برای سیستم‌های Liquid Cooling هستند. عدد درج شده (مانند 40 در کلاس W40)، بیانگر حداکثر دمای مجاز مایع خنک‌کننده برای ورود به رک‌ها بر حسب درجه سانتی‌گراد است.
  • چگونه می‌توان ابعاد لوله‌ها و پمپ‌ها را در طراحی مرکز داده کانتینری کاهش داد؟ با تکیه بر فرمول محاسبه هیدرولیک سیستم‌های تبرید، طراحان می‌توانند با افزایش مهندسی‌شده‌ی اختلاف دما (Delta T) بین جریان رفت و برگشت، دبی جریان (GPM) را به شدت کاهش داده و در نتیجه از لوله‌ها و پمپ‌های کوچکتری در فضای ارزشمند و محدود کانتینر بهره‌برداری کنند.

مشاوره و طراحی تخصصی مرکز داده کانتینری

برای اطمینان از تطابق معماری با کلاس‌های جهانی و پیاده‌سازی سیستم‌های سرمایش پیوسته متناسب با نیازهای پروژه شما، با تیم معماری زیرساخت فیدارکوثر تماس بگیرید.

درخواست مشاوره تخصصی مرکز داده کانتینری

 

نظرات :
ارسال نظر :

بعد از ورود به حساب کاربری می توانید دیدگاه خود را ثبت کنید