本文基于中国电网和 IT 负载电源的发展,分析了当前数据中心几种主要供电制式的产生背景与利弊,提出了基于全新的“零级变换”概念的数据中心交流直供供电制式。
由于海量数据和巨大算力的需求驱动,近年来数据中心在数量、规模上迅速扩大,机柜功率密度与实际承载率也急剧提升,巨大的电耗使与碳排放、PUE、TCO 密切相关的供电制式变革成为国家、行业和数据中心三级体系关注的焦点。本文将基于中国电网供电品质现状和 IT 设备电源技术的发展,讨论与分析当前中国数据中心行业几种主要供电制式的应用局限性,提出基于“零级变换”概念的数据中心交流直供供电新制式。
数据中心供电制式发展的前提与必要条件
01中国电网的发展与供电稳定性
根据国家能源局 2019 年的数据:中国的年发电量为 71118 亿千瓦时,占全球的 1/4,比美国多 50% 以上,大约是欧盟的 2 倍,相当于美国、日本、俄罗斯三国的总和;
其次,中国电网规模全球第一,拥有 35kV 及以上输电线路回路长度 189 万千米,相当于绕赤道 47 圈,并在全球唯一拥有 11/22/33/50/75/100/110 万伏各种供电电压等级的国家;
第三,中国电网的供电能源的多样化与规模全球第一,目前水电、核电、太阳能、风能等绿色清洁能源已经占到了 30%;中国城市客户 380V 等级的供电可靠率达 99.955%(数据来源:国家电网报)。
对大型 A/B 级数据中心来说,如果采用来自两路不同源 110kV 变电站的 10kV2N 供配电架构,即使基于单路 380V 电网 99.955% 的供电可靠率,可近似算得 2s 冗余架构的电网供电可靠率为 99.998%,一年最大也仅有约 631s 的累加停电时间。外部电网供电的稳定性是数据中心可靠供电的前提,也是驱动数据中心供电制式变革的保证。
02IT 负载电源的发展与供电适应性
传统的观点认为 IT 类设备对供电质量非常敏感,但事实上包括普遍使用的 X86 服务器在内的现代 IT 设备对供电质量并不敏感,参数指标比想象中要宽泛得多。
典型的 IT 设备内嵌电源 PSU 工作原理如图 1 所示(最新的 IT 设备电源已经采用了 LLC 电路和输出同步整流技术,使效率更高)。当 220V/50Hz 的外部交流电源进入 IT 设备后,首先进入 IT 设备的 PSU 电源模块,经 EMI、AC/DC 整流、PFC、带高频隔离变压器的 DC-DC 变换器、输出滤波等环节变成 DC12V 后(部分 IT 还有 5V 和 3V),才向 IT 设备的芯片、电路板及风扇等供电。
这一过程通常有高达 ±20% 以上的输入电压/频率运行范围(目前很多此类电源还兼容直流输入)、近 0.95 的输入 PFC 和小于 3% 的 THDi(参数来源IntelServerSystemH2000WPfamily),并会过滤掉输入电压中存在的诸如电压失真、噪声干扰、冲击电压等供电质量问题。
同时 IT 设备电源还有一定的输入断电耐受时间,如 ATX 标准要求当输入断电时,12V 输出 Hold-up 时间最小为 17ms,而 SSI 标准则要求超过 20ms,而 IntelServer 标准要求这一时间为 13ms。IT 设备对输入电压、频率、电流的宽泛要求,为数据中心供电制式的变革提供了第二个必要的前提。
当前国内数据中心供电制式的现状与问题
01UPS 双级变换供电制式
早期的 IT 负载对供电品质要求较高,是 UPS 双变换供电制式成为目前数据中心使用时间最长、应用最广、认知最深的供电制式的价值所在。其供电系统图及工作路径如图 2 所示。
1.正常路径
在市电供电正常时,UPS 经过 AC/DC 和 DC/AC 的“两级变换”给数据设备负载供电,提供净化供电功能,也因此得名“双变换供电”。
2.后备路径
在市电供电中断时,蓄电池经 UPS 的 DC/AC 逆变器给数据设备负载供电,提供后备供电功能。
3.应急路径
当 UPS 故障时,UPS 将不间断地转静态旁路,市电经由 UPS 内置的旁路电子开关给数据设备供电,提供应急供电功能。
这一供电制式的优势是具有可不间断相互切换的三条供电路径来保证 IT 负载的安全供电;其次是采用全交流供电,可适应数据中心全域负载的供电需求且输配电结构简单。
不足之处是,正常运行时能量需要经过两级变换输出,对于目前的电网供电品质和 IT 负载适应力来看,这一双变换导致的能效损失在 99.998% 的时段内是完全没有必要的。
但令人庆幸的是,随着 UPS 高频化技术的发展,多电平变换技术及 SiC 等新器件的采用,目前 UPS 双变换的最高效率已经达到 97.5%;其次,早期的 UPS 因为都采用非模组化架构,其维修服务响应长也是广受非议的问题之一。
02HVDC 高压直流供电制式
01HVDC 供电制式的应用背景
2010 年左右,由于当时中国通信行业机房的负载率普遍较低,又大都采用效率较低的工频 UPS 供电,导致 UPS 的运行效率低下(大约在 80% 左右),这与当时国家已经开始倡导的节能减排政策相悖;其次是工频 UPS 几乎全是分立功率器件的塔式一体机,其故障定位与维修时间都较长,这也给数据机房的实际运行带来了一定的负面影响。
为此,通信行业的电源专家开始探索是否可以采用 240V 的直流来给 IT 设备供电,经实验测试发现,绝大部分之前由 AC220V 供电的数据设备可以直接用直流 240V 供电,而无需改变 IT 设备的内部结构。这一发现诞生了中国数据中心的第二种供电制式,即 HVDC(高压直流)供电制式。这是国内电源专家第一次对数据中心供电制式的有益探索,值得尊重。
02HVDC 供电制式的定义及其工作原理
由于相对于通信电源的 DC24V/48V 制式,DC240V(或 336V)电压较高,所以被定义为 HVDC(与电网的 100 万伏 HVDC 同名,但没有关联),其供电路径分述如下:
■ 正常路径:在市电供电正常时,HVDC 经过 AC/DC 及 DC/DC 变换输出直流电(276V 或 380V)给数据设备负载供电,提供净化电源功能。
■ 后备路径:在市电供电中断时,蓄电池经直接给 IT 负载供电,提供后备电源功能。
■ 应急路径:无(因为交直流无法不间断切换而无法设置。当直流系统故障后,无法提供旁路供电路径)。
03HVDC 供电制式的早期应用优势与现状
HVDC 的成功推出相比于早期的工频 UPS,确实提高了电源的运行效率大约 10% 以上,简化了故障定位并缩短了维修时间,电池放电也不再受 UPS 逆变器故障的影响。同时,很多数据中心早期通过一路市电、一路 HVDC 的“准 2N ”架构,也确实节省了建设投资。
这些都有益地推动了数据中心的发展,尤其是在得到 BAT 的“创新应用”青睐后,HVDC 供电制式安装数量得到较快增长,成为仅次于 UPS 双变换的第二大供电制式。
但是,随着高频模组化和模块化 UPS 的应用普及,目前 HVDC 相对于 UPS 的应用优势如运行效率、故障定位、维修时间等的传统优势开始丧失,但其直流供电带来的应用缺陷却开始显现;其次,在数据中心建设与改造中,由于其显而易见的问题与隐患,原先的“准 2N ”架构正在普遍被“真 2N”HVDC 架构所淘汰,原先的节省投资功能也随之消失。
04HVDC 供电制式的数据中心应用局限
■ HVDC“三级变换”的节能问题
HVDC 在初期推广宣传时非常强调其“一级变换”理论,宣称比 UPS 效率高的原因是只需要 AC/DC 的一级变换,而不象 UPS 需要 AC/DC 和 DC/AC 的两级变换,所以具有更高的运行效率。
事实上,HVDC 的 DC240V 并不能通过一级变换来得到。根据 YD/T2378—2011《通信用 240V 直流供电系统》通信行业标准的要求“交流输入应与直流输出电气隔离”。这意味着在 HVDC 电源中还必须有隔离变压器,而这一变压器又不可能采用体积庞大的工频变压器,所以采用如图 6 所示的“AC/DC、DC/AC、高频变压器、DC/AC” 的三级变换拓扑,便是 HVDC 电源必然的选择。
如果与 UPS 等同的变换级来比较,那 HVDC 应该是“三级变换”。公开资料显示,最新的 HVDC 典型模块效率仅达 94%~96%,而当前高频 UPS 普遍已将整机效率做到了 97% 以上;在实际运行时,HVDC 与模块架构的高频 UPS,都可以通过模块休眠技术来提高低负载率时的运行效率。所以与现代高频 UPS 相比,HVDC 已经不再是节能产品了。
HVDC 正常运行时能量需要经过“三级变换”输出,对于目前的电网供电品质和 IT 负载适应力来看,与双变换 UPS 供电制式一样,不仅没有必要,反而造成更大的能源浪费。
■ 多元化客户数据中心的供电局限
很多大型 Colo 数据中心都是多用户群租的,由于用户的多元化带来了其 IT 机柜内服务器与通信设备品类的复杂化,HVDC 的直流供电很难保证能适应所有各类用户 IT 服务器供电需求,所以,通常这样的数据中心都无法采用 HVDC 来供电。
原先采用 HVDC 供电的客户迁移退租后的数据中心设备改造问题。
原先采用 HVDC 供电的数据中心,3~5 年租约满后原客户迁移退租更换新用户,而新用户又不接受或无法采用 HVDC 供电,导致需要更换原先整条供电链路的所有设备,如 HVDC 电源、直流配电系统、列头柜、PDU、蓄电池和电缆,导致巨大的 Capex 损失。
■ 无法带数据中心全域负载的问题
数据中心负载不仅有服务器、网络设备、通信设备等 IT 负载,更有保障 IT 设备制冷需求的水泵、风机等动力负载,所有这些设备都是不能停电的。目前 HVDC 还不能保证能给所有的 IT 负载供电,更无法给动力系统负载。这意味着以 HVDC 供电为主的数据中心,同时需要配置交流 UPS 来供电,这导致交流、直流供电系统在数据中心供电和 IT 端供电的混用,使电源品类管理与运维复杂化。
■ 无应急供电路径的局限
受制于交流电和直流电不能并存来实现不间断切换的现实,HVDC 无法提供象 UPS 静态旁路这样的第三条应急供电路径。当主输入配电线路或电源柜系统故障时,后备电池(通常 15min)放电截止后,负载将直接面临断电风险又束手无策的尴尬境地。
■ 电池直挂负载母线问题
电池直挂母线是把双刃剑,既有好处也有坏处。好处是没有如 UPS 的逆变器故障无法供电的问题,其坏处是 HVDC 的电池直挂负载母线,电池放电电流不可控,无 UPS 所具备的共享放电测试功能,蓄电池的健康状况难以判断;其次是当电池出现故障(如漏液或短路)或电池系统性失效时,与电池直接相连的负载供电必然受到影响,甚至于出现断电事故,这在国内数据中心已经有惨痛的教训。
■ 配电开关、按钮、PDU 等的选型操作及拉弧问题
实验表明,HVDC 的 240V 直流供电系统在开关、按钮、插拔等操作分断电流时,出现拉弧、起火或烧毁等现象的严重程度及概率会远高于交流 220V 系统;其次,目前直流配电开关单极分段的额定电压等级只有 250V,HVDC 的 276V 应用已经超过了其安全范围。
0310kV交流输入的直流供电制式级
为了进一步提高数据中心的运行效率,业界对 HVDC 在效率与可交付性上进行了创新发展,推出了 10kV 交流输入的直流供电不间断电源系统(MVDC 电源),下文简称巴拿马电源。
巴拿马电源供电制式的主要创新可总结为三点:首次把 10kV 中压变压器、HVDC 组合成一体的供电系统;通过采用 36 脉冲中压移相变压器,优化了 HVDC 的拓扑,将 HVDC 模块的变换级从原先的三级变为两级,使 AC10kV 输入端到 DC276V 输出端的多级变换电源系统效率提升至 97%(99% 变压器效率*97% 优化的 HVDC 效率);同时将单系统的交付能力从原先 HVDC 的 1200A 提升到 1.2MW。
巴拿马电源稍显复杂的是使原先单绕组的变压器变成了六绕组如图 7 所示,使变压器设计、制造与维护工作量增大;其次,MVDC 电源的输出直流电压制式与原 HVDC一致,HVDC 所面临的直流供电困惑同样会体现在 MVDC 供电制式上。
交流直供供电制式
01数据中心交流直供供电制式及其优势
综合前面的分析可见,当前数据中心供电制式最大的问题是,在电网的供电品质完全超越 IT 负载安全供电需求的时段内,依然采用能耗浪费严重又导致电源设备自身故障率升高的“多级变换”交流或直流供电制式,来实现对 IT 负载的供电是否仍有必要的问题。正是基于对这一问题的正视,本文提出了基于“零级变换”理论的交流直供供电制式。
在市电供电良好的 99.955% 时间内,UPS 通过静态旁路运行在交流市电直接向 IT 负载供电的状态下,来实现高达 99% 的效率,因此得名为“交流直供”,以凸显它的交流供电架构和与 HVDC 直流供电的区别;其次,由于它同时还具有不间断的双变换和电池逆变两种后备电源供电路径,所以它与无后备电源的“市电直供”完全不同。
交流直供供电制式采用具有“单机或并机系统双变换回路在线休眠功能、逆变器无间断启动与切换功能、旁路快速锁止功能功能、雷暴侦测与锁止功能、逆变器的反向有源滤波功能、负载短路设部与锁止功能、交直流滤波器的实时接入功能”的特定 UPS 来实现,其主电路拓扑与双变换 UPS 完全相同,如图 8 所示。其工作原理说明如下:
在市电供电良好的 99.955% 时间内,单机或并机系统的整流器和逆变器处于在线休眠状态,系统效率可达 99%。此时,整流器与市电接通、逆变器与输出接通但保持在线休眠,能量通过整流器/逆变器 IGBT 反向二极管构成的双全桥整流电路维持直流母线电压,UPS 的控制系统及同步跟踪功能保持运行,确保市电不正常时能实现逆变器的“不间断”投入;逆变器前后的 EMI 电路、交直流滤波电路参与对市电谐波、高频干扰和瞬时过压脉冲的吸收与滤波处理,以改良交流直供模式下的供电品质。
当市电超限(±10%、±15% 可设定)或断电时转到逆变模式,快速切换专利技术确保短时间内由市电经双变换或电池逆变放电向负载供电,这一切换的典型时间不到 2ms(如果不考虑波形畸变,实际可为 0ms),充分满足负载“不间断”的供电要求。在市电回复后,根据预先设定的时间和滞回值,不间断返回交流直供模式。
交流直供模式下控制电路的主控 DSP 实时产生追踪旁路市电的 PWM 驱动信号,但在最后施加到 IGBT 时被锁止;当需要提供逆变输出时 PWM 驱动信号可以在极短时间内驱动 IGBT 实现输出带载。相关控制单元及检测电路(如面板显示,电压检测,电流检测、同步信号等)保持实时运行,确保系统能快速切换。
02电网适应性和IT负载适应性评估
交流直供供电制式下的供电品质是否能满足 IT 负载的输入电源需求,是交流直供制式能否作为数据中心标准供电制式来推广的前提,为此,本文基于当前 IT 负载的相关标准做了下列比较(综合 ATX/SSI/Intel 标准为例),详见表 1。
从表 1 可见,在正常市电供电及交流直供相关功能的支持下,交流直供完全可以满足数据中心 IT 负载的全时域供电需求。
03交流直供制式的技术优势
①运行效率(PUE)与可靠性优势
相对于前文提到的其它供电制式,交流直供制式在保 IT 负载安全供电的前提下,革命性地采用高效的“零级变换技术”,使 99.955% 的时间内电源系统的效率高达 99%,即使与几种供电制式中效率最高的巴拿马电源中 HVDC 的 98% 效率相比,也要高 1% 的效率(假设两者的 10kV 变压器效率相同);基于变换级的供电制式,效率通常随负载率的升高而升高,而交流直供模式的效率基本不受负载率的影响,实现了全生命周期、全时态的 99% 效率。对于 20MW 的数据中心来说,相对于传统 HVDC 供电模式,预估 10 年节省电费在 7000 万以上。
由于交流直供电源基本处于在线休眠模式状态,相比于其它运行在多级变换供电制式的电源而言,由于关键的器件如 IGBT、电容、电感都在静态休眠状态,减少了发热和电磁作用,其工作寿命与实时可靠性都大幅提高。
②全交流供电输配电架构优势
相对于前文提到的数据中心直流供电局限与问题,交流直供采用交流输配电架构,完全适应数据中心全域负载的供电需求。
04交流直供运行安全性保证
①切换安全性及其实践验证
采用 UPS 交流直供制式供电,用户最大的担心是,能否在市电停电时快速切换到逆变输出以保证负载供电的连续性,而且这一切换安全性是否得到了长期运行实践的验证。
要实现快速转换需满足两个条件:UPS 开启逆变器的速度足够快、关闭旁路静态开关的速度足够快。以伊顿公司的 9395 产品的技术为例来说明:伊顿 9395 内置的交流直供技术可以保证逆变器快速启动并达到满载输出条件;续流二极管组成的整流电路维持着直流母线电压,所消耗的输入功率很小,都包含在 1% 的损耗内;直流电压恒定存在,为逆变器的瞬时启动创造了条件;因逆变输出保持闭合,逆变器始终处于“就绪状态”;PWM 脉冲宽度调制信号与市电始终保持同步;逆变器退出“就绪状态”并正常输出所需的唯一步骤是对 IGBT 进行驱动导通,该过程 640µs 左右就能完成。
交流直供模式下旁路静态开关处于闭合状态,市电异常时必须将其快速断开以确保将负载从电网脱离,从而隔离来自电网的干扰等不利因素。伊顿专利的静态旁路快速切换技术(SCR 反向电压激励技术)可以确保静态开关在 600µs 内的快速关断,而无需等待传统关机技术需要下一次过零点的 8ms 时间。
交流直供运行模式下市电出现断电或异常时 UPS 系统需要一定的检测时间,该检测过程在 320µs 内能够完成;从旁路带载到逆变输出的切换过程还需要约 320µs 的反馈时间,加上前述的逆变器启动时间(9640µs)及静态旁路的关断时间(600µs),伊顿交流直供技术在旁路市电出现断电等极端情况时切换到逆变满载输出的理论时间为 1880µs(1.8ms),极端情况下的实测转换时间小于 2ms(如果不考虑波形畸变,这一时间为 0ms)。根据前述,IT 设备允许断电时间为不超过 13ms,这充分保证了切换期间的 IT 设备运行安全。
目前,伊顿的交流直供技术已经在全球 7~12nm 等级芯片产线上得到了 5 年以上的大规模运行验证(目前也用在 5nm 产线),也在中国许多大型数据中心的动力系统得到了近 5 年以上的大规模实践验证,证明了切换的高安全性和高可靠性。
②对恶劣供电环境下敏感负载的保护
交流直供技术具备智能的雷暴侦测功能,当 UPS 侦测到在一定时间内(默认 1h,可设定)持续出现 3 次市电异常,UPS 将会推断可能正遭遇雷暴等异常状况,系统退出交流直供模式,并将负载锁定在双变换运行状态 1h。若市电不再出现异常,UPS 会解除锁定,并再次自动进入交流直供模式。
③具备对上下游故障的智能判断能力
交流直供技术能智能判断电源问题是来自输入电源还是由负载短路引起。若电压和电流急剧下降,则 UPS 上游进线故障,UPS 快速转换为逆变器供电,以确保负载供电的连续;若电压急剧下降,但电流急剧增加,则 UPS 下游(负载侧)故障,UPS 将保持在交流直供模式,通过旁路市电提供的足够大的电流促使下游断路器或熔断器保护动作以分断故障回路。
④与传统 ECO 方式在安全性方面质的差异
出于对安全供电的担心,ECO 自推出几十年来,少有人问津。传统 ECO 模式下,市电正常时整流器和逆变器始终处于空载待机状态,整流器和逆变器的持续运行不仅导致运行效率的低下(一般仅为 97%),而且长期运行也抬高了系统的故障率,降低了系统寿命;ECO 模式下的逆变器与输出回路断开,交直流滤波器都无法发挥净化电网的作用,供电品质变差;最为关键的是,市电中断时需要在旁路彻底关断后才接通逆变器回路,切换安全性变差。
交流直供模式下的逆变输出始终保持联通,解决了客户最担心的动态切换安全性问题,其工作原理见前面介绍。与传统 ECO 模式相比,交流直供模式在效率、供电品质、运行可靠性、切换安全性方面都存在质的不同。
结论
在保证数据中心 IT 负载供电安全与电源品质的前提下,采用近乎无损的“零级变换”技术来实现数据中心的供电,一直是数据中心供电制式变革的目标。通过采用零级变换的交流直供供电制式来代替当前数据中心普遍采用的多级变换供电制式,不仅可以显著降低数据中心的运行 PUE,呼应国家的碳中和、碳达峰战略,还可以提高电源系统自身的可靠性。
与目前部分数据中心采用的直流供电制式相比,全交流供电架构在保证数据中心客户的连续性、供电负载的全域性方面具有得天独厚的优势。后续将会提供数据中心在交流直供模式下的安全运行与 PUE 实测数据,推动数据中心加速迈入更绿色的“交流直供”时代。