فهرست مطالب
میزبانی از بارهای کاری هوش مصنوعی (AI) و محاسبات با کارایی بالا (HPC) چالشهای زیرساختی بیسابقهای را برای مراکز داده سنتی ایجاد کرده است. دیتاسنترهای کلاسیک که بر پایه توان الکتریکی ۵ تا ۱۰ کیلووات به ازای هر رک و خنککاری با هوا طراحی شدهاند، توانایی مواجهه با شار حرارتی شدید و توان مصرفی سنگین خوشههای مدرن پردازش گرافیکی (GPU) را ندارند.
قرار دادن سرورهای پردازش سنگین نظیر شتابدهندههای NVIDIA H100، GH200 یا معماریهای GB200 NVL72 در رکهای سنتی، منجر به افت شدید فرکانس هسته به دلیل داغ شدن (Thermal Throttling)، جهشهای ناگهانی در مصرف برق و پدید آمدن گلوگاههای پهنای باند در بستر شبکه میشود.
یک دیتاسنتر GPU-ready یا دیتاسنتر آماده هوش مصنوعی، زیرساختی حیاتی و هدفمند است که کلیه اجزای فیزیکی، الکتریکی، مکانیکی و شبکهای آن برای پشتیبانی پایدار از تراکمهای توان ۳۰ تا بیش از ۱۲۰ کیلووات به ازای هر رک بازطراحی شدهاند.
این مقاله به بررسی دقیق استانداردهای مهندسی، معماری توزیع برق، سیستمهای خنککاری مایع، الزامات کابلکشی ساختیافته و مدلسازی اقتصادی دیتاسنترهای GPU-ready میپردازد.
دیتاسنتر GPU-ready به زیرساخت پردازشی حساسی گفته میشود که بهطور خاص برای پشتیبانی از تراکم توان بالای ۳۰ تا بیش از ۱۲۰ کیلووات به ازای هر رک، مدیریت شار حرارتی شدید پردازندههای گرافیکی از طریق خنککاری مایع مستقیم (Direct-to-Chip)، توزیع برق ۴۸۰ ولت و بستر شبکهای با تاخیر نزدیک به صفر طراحی شده است.
این مراکز امکان فعالیت ناپیوسته و مداوم پردازندههای هوش مصنوعی را بدون افت عملکرد حرارتی یا محدودیت تغذیه فراهم میسازند.
در خنککاری سنتی با هوا (Air Cooling)، ظرفیت گرمایی ویژه هوا محدودکننده اصلی است. برای دفع حرارت ناشی از یک رک ۵۰ کیلوواتی، حجم هوای عبوری (CFM) مورد نیاز به قدری افزایش مییابد که سرعت جریان هوا باعث ایجاد فنهای فوقالعاده پرصدا، افت فشار شدید، ناپایداریهای دینامیکی و ایجاد نقاط داغ (Hot Spots) در دیتاسنتر میشود.
زمانی که توان مصرفی سرورها از مرز ۲۵ تا ۳۰ کیلووات عبور میکند، خنککاری صرفاً بر پایه هوا از نظر اقتصادی و فیزیکی غیرممکن میگردد. جدول زیر پارامترهای مهندسی کلیدی زیرساختهای سنتی و GPU-ready را مقایسه میکند تا تمایزات ساختاری آنها آشکار شود.
| شاخص ارزیابی | دیتاسنتر سنتی (CPU-Centric) | دیتاسنتر GPU-ready (AI-Centric) |
|---|---|---|
| تراکم توان در هر رک (kW/Rack) | ۵ تا ۱۰ کیلووات | ۳۰ تا ۱۲۰+ کیلووات |
| توپولوژی اصلی خنککاری | هوای سرد زیر کف کاذب (CRAH/CRAC) | خنککاری مایع مستقیم (Direct-to-Chip) / غوطهوری |
| شاخص کارایی مصرف برق (PUE) | ۱.۵۰ تا ۱.۸۰ | ۱.۱۵ تا ۱.۳۵ |
| معماری توزیع برق داخلی | ۲۰۸/۲۳۰ ولت متناوب | ۴۸۰ ولت متناوب / باسبارهای پرقدرت |
| بستر شبکهای پردازش | Ethernet استاندارد (۱۰/۴۰/۱۰۰ گیگابیت) | InfiniBand / RoCE v2 با تاخیر ناچیز |
| تحمل بار استاتیکی کف (Weight Load) | ۵۰۰ تا ۸۰۰ کیلوگرم بر متر مربع | ۱۵۰۰ تا بیش از ۲۵۰۰ کیلوگرم بر متر مربع |
تحلیل دادههای جدول بالا نشان میدهد که تغییر پارادایم از پردازش عمومی به پردازش شتابیافته، نیازمند ارتقای ۳ تا ۱۰ برابری در تراکم توان و ظرفیت بارگذاری سازه است. تصمیمگیرندگان فنی باید توجه داشته باشند که استفاده از تجهیزات پرقدرت در سالنهای سنتی، حتی با وجود نصب سیستمهای محوّطه راهرو سرد/گرم، در کوتاهمدت به خطاهای حرارتی مکرر میانجامد.

معماری توان در دیتاسنترهای GPU-ready نیازمند توزیع برق فشار ضعیف ۴۸۰ ولت، باسبارهای پرتراکم و سیستمهای UPS با پاسخ دینامیکی سریع است تا جهشهای ناگهانی بار (Step-Loads) ناشی از الگوریتمهای هوش مصنوعی را بدون افت ولتاژ یا اختلال مدیریت کند.
پردازندههای گرافیکی مدرن توان حرارتی (TDP) بسیار بالایی دارند. به عنوان نمونه، پردازنده NVIDIA GH200 Superchip دارای توان مصرفی ۱۰۰۰ وات، شتابدهنده AMD MI250X دارای توان ۵۶۰ وات به ازای هر دای و سرورهای استاندارد شامل پردازندههای 5th Gen Intel Xeon دارای TDP حدود ۳۵۰ وات هستند.
هنگام اجرای الگوریتمهای یادگیری عمیق، توان مصرفی این تجهیزات بهصورت پلهای و ناگهانی تغییر میکند (Dynamic Step-Loads). جهشهای ناگهانی در مصرف جریان (Transient Loads) به سیستمهای توزیع برق، ترانسفورماتورها و یوپیاسها (UPS) استرس شدید وارد میکنند.
اگر سیستم تغذیه توان دیتاسنتر پاسخ دینامیکی مناسبی نداشته باشد، این جهشها موجب افت ولتاژ (Voltage Sag) و اختلال در عملکرد کل خوشه پردازشی میشوند.
جدول زیر مدل محاسباتی مرحلهبهمرحله را برای برآورد ظرفیت زیرساخت الکتریکی در یک استقرار ۱۰۰ رکی مقایسه میکند.
| مرحله محاسباتی | فرمول / پارامتر ارزیابی | دیتاسنتر سنتی (۱۰kW/Rack) | دیتاسنتر GPU-Ready (۵۰kW/Rack) | ملاحظات مهندسی |
|---|---|---|---|---|
| ۱. بار مصرفی تجهیزات IT | تعداد رک × توان مصرفی هر رک | ۱.۰ مگاوات (۱۰۰ × ۱۰ kW) | ۵.۰ مگاوات (۱۰۰ × ۵۰ kW) | بار پردازشی ۵ برابر بیشتر است. |
| ۲. بار کل دیتاسنتر با ضریب PUE | بار IT × شاخص PUE هدف | ۱.۶ مگاوات (PUE ۱.۶۰) | ۶.۲۵ مگاوات (PUE ۱.۲۵) | خنککاری مایع تلفات PUE را کاهش میدهد. |
| ۳. ظرفیت سیستم UPS (N+1) | بار IT × ضریب اطمینان (۱۱۰٪) | ۱.۱ مگاوات ظرفیت UPS | ۵.۵ مگاوات ظرفیت UPS | Sized برای پاسخگویی به بارهای دینامیک |
| ۴. ظرفیت ترانسفورماتور اصلی | توان UPS / ضریب توان (0.8 PF) | ۱.۳۷۵ مگاواتآمپر (MVA) | ۶.۸۷۵ مگاواتآمپر (MVA) | نیازمند شبکه توزیع ۴۸۰ ولت |
تحلیل جدول محاسباتی فوق مشخص میسازد که یک سایت ۱۰۰ رکی GPU-ready به ترانسفورماتوری با ظرفیت نزدیک به ۷ مگاواتآمپر نیاز دارد. این حجم از توان مصرفی نیازمند بازنگری در قراردادهای تامین انرژی و تعبیه سیستمهای حفاظتی پیشرفته در ورودی فشار متوسط دیتاسنتر است.
مدیریت حرارتی دیتاسنترهای GPU-ready بر پایه سیستمهای خنککاری مایع مستقیم (Direct-to-Chip)، واحدهای توزیع مایع (CDU) و استاندارد ASHRAE TC 9.9 5th Edition استوار است تا دفع حرارت بیش از ۳۰ تا ۱۲۰ کیلووات بر رک را بدون نیاز به چیلرهای پرمصرف فراهم آورد.
تکنولوژیهای خنککاری مایع به سه دسته اصلی تقسیم میشوند:

جدول زیر گذار تکنولوژیهای خنککاری را بر اساس تراکم توان و الزامات استاندارد نشان میدهد.
| سطح تراکم | توان مصرفی رک | توپولوژی خنککاری پیشنهادی | PUE تقریبی | کلاس استاندارد ASHRAE |
|---|---|---|---|---|
| سطح ۱: هوایی سنتی | ۱ تا ۱۵ کیلووات | کف کاذب / CRAH پریمتر | ۱.۵۰ – ۱.۸۰ | Class A1 / A2 Air |
| سطح ۲: هوایی محصور | ۱۵ تا ۲۵ کیلووات | راهرو سرد/گرم محصور + In-Row | ۱.۳۵ – ۱.۵۰ | Class A3 / H1 Air |
| سطح ۳: ترکیبی (Hybrid) | ۲۵ تا ۶۰ کیلووات | Direct-to-Chip (۷۰٪) + RDHx هوایی (۳۰٪) | ۱.۲۰ – ۱.۳۵ | Class W17 / W27 Liquid |
| سطح ۴: مایع متراکم | ۶۰ تا ۱۰۰+ کیلووات | Direct-to-Chip کامل + آب گرم | ۱.۱۵ – ۱.۲۵ | Class W32 / W40 Liquid |
| سطح ۵: تراکم فوقسنگین | بیش از ۱۵۰ کیلووات | خنککاری غوطهوری کامل (Immersion) | ۱.۰۵ – ۱.۱۵ | Class W45 / W+ Liquid |
تحلیل جدول بالا نشان میدهد که از مرز توان ۲۵ کیلووات به بعد، معماری خنککاری بهطور کامل از حالت صرفاً هوایی خارج شده و وارد فاز ترکیبی یا مایع کامل میشود. این گذار نیازمند تغییر در طراحی لولهکشی سالن دیتاسنتر است.
کمیته فنی ۹.۹ انجمن ASHRAE در ویرایش پنجم دستورالعمل حرارتی خود (2021 5th Edition)، کلاسهای قدیمی خنککاری مایع (W1 تا W5) را بازنگری کرده و نامگذاری جدیدی بر اساس حداکثر دمای آب ورودی تعیین نموده است:
مطابق با دستورالعمل ویرایش پنجم ASHRAE TC 9.9، شرط تطابق یک تجهیز با کلاس W، عملکرد کامل و بدون افت فرکانس (Unthrottled Operation) سرور در تمام محدوده دمایی آن کلاس است.
جدول زیر مشخصات کلاسهای جدید خنککاری مایع را طبق ویرایش پنجم استاندارد ASHRAE TC 9.9 خلاصه میکند.
| کلاس مایع (ویرایش پنجم) | حداکثر دمای آب ورودی (°C) | زیرساخت خنککاری اصلی | نیاز به چیلر | پتانسیل Free-Cooling |
|---|---|---|---|---|
| W17 | ۱۷ °C | چیلر تراکمی استاندارد | مداوم | بسیار کم |
| W27 | ۲۷ °C | چیلر + اکونومایزر | فقط در اوج گرمای تابستان | متوسط |
| W32 | ۳۲ °C | برج خنککننده / اکونومایزر آب | محدود به شرایط استثنایی | بالا |
| W40 | ۴۰ °C | درایکولر مدار بسته | بدون نیاز به چیلر | بسیار بالا |
| W45 | ۴۵ °C | درایکولر هوایی مستقیم | ۱۰۰٪ بدون چیلر | حداکثر |
| W+ | بیش از ۴۵ °C | سیستمهای بازیافت حرارت (Heat Reuse) | ۱۰۰٪ بدون چیلر + بازیافت | کامل |
از جدول فوق میتوان دریافت که بهرهگیری از کلاسهای W40 و W45 نیاز به سیستمهای چیلر تراکمی پرمصرف را برطرف کرده و به دیتاسنتر اجازه میدهد در اکثر اقلیمها صرفاً با درایکولرهای مداربسته کار کند.
واحد توزیع مایع خنککننده (Coolant Distribution Unit - CDU) قلب خنککاری مایع است. وظیفه اصلی CDU تفکیک فیزیکی حلقه آب کارخانه (Facility Water System - FWS) از حلقه خنککاری تجهیزات (Technology Cooling Loop - TCL) است.
زیرساخت شبکه در دیتاسنترهای هوش مصنوعی نیازمند بسترهای ارتباطی غیرمسدودکننده با تاخیر ناچیز (مانند InfiniBand و RoCE v2) و رعایت استاندارد TIA-942-C جهت جداسازی مسیرهای کابلکشی فیبر نوری از لولههای مایع و خروجی حرارت است.
توزیع بارهای یادگیری ماشین بین هزاران GPU نیازمند تبادل داده با پهنای باند بالا و تاخیر بسیار کم است. شبکه ارتباطی بین GPUها از بسترهای اختصاصی زیر استفاده میکند:
استاندارد TIA-942-C الزامات ویژهای را برای کابلکشی دیتاسنترهای تراکم بالا تعیین کرده است.

به دلیل وزن فوقالعاده سنگین رکهای خنککاریشده با مایع (بیش از ۱.۵ تن در معماریهایی مانند GB200 NVL72)، دیتاسنترهای GPU-ready نیازمند زیرسازی بتنی مسلح (Slab-on-grade) و تحمل بار بالای ۱۵۰۰ تا ۲۵۰۰ کیلوگرم بر متر مربع هستند. رکهای خنککاریشده با مایع و سرورهای پرتراکم هوش مصنوعی وزن بسیار سنگینی دارند.
به عنوان مثال، یک رک کامل از معماری NVIDIA GB200 NVL72 به همراه مایع خنککننده درون منیفولدها وزنی بیش از ۱.۵ تن (حدود ۱۷۰۰ کیلوگرم) دارد. این حجم از وزن، فشار نقطهای (Point-Load) و فشار گسترده (Distributed Load) شدیدی به کف وارد میکند.
سازههای سنتی با کف کاذب استاندارد توانایی تحمل این بار را نداشته و دیتاسنترهای GPU-ready نیازمند کف بتنی مسلح روی زمین (Slab-on-grade) یا سازههای تقویتشده با تیرهای فولادی هستند.
دیتاسنترهای GPU-ready با کاهش شاخص PUE به ۱.۱۵ تا ۱.۳۵ (در شرایط استفاده از اکونومایزر و کلاسهای W32 به بالا) و افزایش درآمد هر رک (ARR) از ۵۰ هزار دلار به بیش از ۹۰۰ هزار دلار در سال، بازدهی اقتصادی و تراکم درآمدی به مراتب بالاتری نسبت به مراکز داده سنتی ارائه میدهند.
سرمایهگذاری در زیرساخت GPU-ready با وجود هزینه اولیه (CAPEX) بالاتر، به دلیل بهینهسازی شدید هزینههای جاری (OPEX) و ایجاد مدلهای درآمدی پربازده کاملاً توجیهپذیر است:

ارزیابی و راهاندازی دیتاسنتر GPU-ready نیازمند اجرای تستهای یکپارچه سیستم (IST)، تست هیدرواستاتیک، شبیهسازی بار حرارتی واقعی با بانکهای بار و ممیزی بر اساس چکلیست آمادگی زیرساخت است. قبل از بارگذاری سرورهای واقعی، دیتاسنتر باید مراحل تست IST را طی کند:
جدول زیر چکلیست سنجش آمادگی دیتاسنتر را برای میزبانی از تجهیزات تراکمبالای GPU ارائه میدهد
| معیار ارزیابی | حداقل استاندارد مورد قبول | وضعیت مطلوب (Best Practice) | درصد اهمیت |
|---|---|---|---|
| توان واقعی قابل تحویل | ۳۰ کیلووات به ازای هر رک | ۶۰ تا ۱۰۰+ کیلووات به ازای هر رک | ۲۵٪ |
| زیرساخت خنککاری | امکان نصب RDHx و خطوط FWS | سیستم Direct-to-Chip با CDU و کشف نشتی | ۲۵٪ |
| تحمل بار کف سالن | ۱۰۰۰ کیلوگرم بر متر مربع | ۲۰۰۰+ کیلوگرم بر متر مربع (Slab-on-grade) | ۱۵٪ |
| تطابق با ASHRAE TC 9.9 | پشتیبانی از کلاس W27 | پشتیبانی از کلاس W32 / W40 بدون چیلر | ۱۵٪ |
| تنوع مسیر فیبر نوری | ۲ مسیر ورود فیزیکی مجزا | ۳+ مسیر ورود فیزیکی با TIA-942-C | ۱۰٪ |
| پایداری توزیع برق | پشتیبانی ۴۸۰ ولت + N+1 UPS | سیستم اتوماتیک مدیریت بارهای دینامیک | ۱۰٪ |
تحلیل جدول فوق مشخص میسازد که وزن اصلی ارزیابی (۵۰ درصد) بر عهده توان تغذیه واقعی و سیستم خنککاری مایع است. عدم احراز حداقلها در این دو بخش، ریسک قطعی زیرساخت را به شدت افزایش میدهد.
جدول مقایسهای زیر راهنمای جامعی را برای انتخاب توپولوژی خنککاری مناسب بر اساس تراکم توان سالن ارائه میدهد.
| شرایط کاری / تراکم | Contained Air POD | Hybrid Direct Liquid Cooling | Full Immersion Cooling |
|---|---|---|---|
| تراکم توان هدف | ۱۵ تا ۲۵ کیلووات بر رک | ۳۰ تا ۱۰۰ کیلووات بر رک | بیش از ۱۰۰ کیلووات بر رک |
| کاربرد اصلی | استنتاج هوش مصنوعی (Inference) و CPU | آموزش مدلهای بزرگ (LLM Training) | ابرمحاسبات فوقسنگین (HPC) |
| محدودیت اصلی | عدم توانایی خنککاری بالای ۳۵kW | نیازمند کنترل دقیق کیفیت آب | پیچیدگی سرویس فیزیکی قطعات |
| PUE قابل دسترسی | ۱.۳۵ – ۱.۵۰ | ۱.۱۵ – ۱.۲۵ | ۱.۰۵ – ۱.۱۵ |
تحلیل ماتریس تصمیمگیری فوق نشان میدهد که برای اکثر پروژههای جاری هوش مصنوعی (نظیر آموزش مدلهای زبانی)، روش Hybrid Direct Liquid Cooling مناسبترین توازن را میان پیچیدگی عملیاتی، هزینه و کارایی حرارتی برقرار میسازد.

۱. دیتاسنتر GPU-ready چیست؟
دیتاسنتر GPU-ready زیرساختی هدفمند است که با ارائه توان برق بالای ۳۰ تا ۱۲۰ کیلووات بر رک، خنککاری مایع مستقیم (DLC) و شبکه کمتاخیر، امکان کارکرد ناپیوسته سرورهای هوش مصنوعی را فراهم میکند.
۲. چرا خنککاری با هوا برای رکهای پرتراکم GPU پاسخگو نیست؟
ظرفیت گرمایی محدود هوا امکان دفع شار حرارتی شدید پردازندههای بالای ۵۰ کیلووات در هر رک را ندارد و منجر به ایجاد نقاط داغ و افت فرکانس حرارتی (Thermal Throttling) میشود.
۳. کلاسهای مایع ASHRAE TC 9.9 ویرایش پنجم چه تغییراتی کردهاند؟
کلاسهای قدیمی W1-W5 با کلاسهای W17، W27، W32، W40، W45 و W+ جایگزین شدهاند که بر اساس حداکثر دمای آب ورودی نامگذاری شده و عملکرد بدون افت پردازنده را الزامی میدانند.
۴. شاخص PUE در دیتاسنترهای خنککاری مایع چقدر بهبود مییابد؟
با استفاده از خنککاری مایع مستقیم و اکونومایزرهای سمت آب، شاخص PUE از محدوده ۱.۵–۱.۸ در دیتاسنترهای سنتی به ۱.۱۵–۱.۳۵ کاهش مییابد.
۵. استاندارد TIA-942-C چه الزامی برای کابلکشی رکهای GPU دارد؟
این استاندارد جداسازی فیزیکی مسیرهای کابلکشی فیبر نوری از لولههای مایع خنککننده و معابر خروج هوای داغ را برای جلوگیری از آسیب دیدن اتصالات الزام میکند.
انتقال به عصر پردازشهای هوش مصنوعی و محاسبات سنگین، بازطراحی بنیانی زیرساختهای دیتاسنتر را اجتنابناپذیر کرده است. دیتاسنترهای GPU-ready تنها یک ارتقای سختافزاری ساده نیستند، بلکه یک یکپارچهسازی سیستماتیک میان توزیع برق ۴۸۰ ولت، سیستمهای خنککاری مایع مستقیم (DLC)، استانداردهای حرارتی ASHRAE TC 9.9 5th Edition و معماری کابلکشی TIA-942-C به شمار میروند.
سرمایهگذاران و مدیران ارشد فناوری باید پیش از خرید شتابدهندههای گرانقیمت هوش مصنوعی، آمادگی واقعی زیرساخت شامل توان الکتریکی قراردادی، ظرفیت تحمل بار کف سالن و زیرساخت خنککاری مایع را ارزیابی کنند.
جهت دریافت مشاوره فنی یا درخواست ممیزی زیرساخت، با کارشناسان فیدار کوثر در ارتباط باشید.
بعد از ورود به حساب کاربری می توانید دیدگاه خود را ثبت کنید