采暖、通风和空调系统——称为HVAC系统——可能是一个微妙的平衡。有很多因素需要考虑，从房间之间的空气流动到人体热量的影响。在过去的十年里，研究人员已经转向机器学习来优化这些系统。有了智能控制器，建筑物可以在不牺牲舒适性的前提下节约能源。

 

目前有两种主要的方法来解决这个问题。在第一种方法中，控制器使用建筑物的详细模型来管理其系统。然而，创建模型需要大量的工作。土木与环境工程学教授马里奥•贝尔热斯(Mario Berges)表示:“一个非常好的建筑模型很难制作，很难维护，也不具有可扩展性。”“建筑物并不都是一样的，所以你必须为每个建筑物创建一个模型。”“很长一段时间以来，人们就知道数字计算机在解决这些类型的问题上根本上是很糟糕的，”他也是该书的主要合作者之一。“为找到解决大只500注册方案而设计的许多算法必须在时间上权衡解决方案质量。

 

另一种方法涉及生成大量的数据，这使得控制器能够适应不同的建筑系统。在这种情况下，主要的障碍是需要多长时间。“对于一个相对复杂的建筑，你需要大约40年的模拟数据，”Berges说。“在现实世界中，你不可能花40年的时间来研究如何控制一座建筑。”

 

为了应对这些挑战，Berges和博士生陈炳庆以及戴尔的合作者一起工作。他们开发了一个新的解决方案，Gnu-RL，它融合了这两种方法的优点。

 

首先，Gnu-RL使用历史数据完成离线预训练。暖通空调系统已经有了控制，所以Gnu-RL学会了复制它们。大自然喜欢优化能源，或以最有效和分散的方式实现目标。金牌大只平台这一原则可以在自然界的同步中得到证明，例如心脏细胞跳动在一起或成群的鱼类运动。通过这种方式，它避免了精确模型和大量数据的复杂性。“它只需要历史数据，我们已经有很多了，”陈说。

 

一旦训练完成，Gnu-RL就可以可靠地模仿前一个控制器。其次，它学会了适应并变得更好。Berges和Chen应用了最近开发的可微模型预测控制(MPC)策略。该政策对代理人的报酬最大化和成本最小化进行奖励，代理人相应地进行调整，直到达到暖通空调系统的最优控制。这种方法称为强化学习——这就是为什么解决方案的名称后面有RL。

 

另一方面，这个名字的第一部分来自一个更非传统的来源。gnu是一种来自非洲的大而黑的羚羊。这些动物是难以置信的早熟，这意味着它们出生在一个相对先进的状态。“它们可以在出生当天就逃离捕食者，”陈说。“Gnu-RL在发病时控制得相当好。”这种相似性使这个名字成为一个自然的选择。

 

Berges和Chen用两个测试来支持这个比较。第一个测试是模拟玛格丽特·莫里森(Margaret Morrison)顶层的智能工作场所。“我们在训练时间方面有了40年到四周的改进，”Berges说。“在不牺牲舒适度的前提下，我们还展示了6%的节能效果。”

 

Berges和Chen被模拟结果所鼓舞，他们决定将Gnu-RL应用到真实的环境中。在三个星期里，他们让Gnu-RL控制盖茨中心会议室的气流。这次试验的结果同样有希望。“它学会了如何模仿现有的控制器，”Berges说。“除此之外，它还学会了在人们到来之前对空间进行预冷，提供舒适，这是现有的控制器做不到的。”

 

然而，尽管他们的工作令人兴奋，Berges和Chen想要感谢他们之前的研究人员的工作。近年来，人们一直在努力构建映射到Ising模型的量子机器，其中最引人注目的是加拿大D-Wave Systems公司生产的一种金牌大只注册机器。尽管它们在低温下运行，但它们可能提供一种搜索大型解决方案空间并找到正确答案的有效方法。“我们的贡献是一种应用，所以我们是在别人的工作基础上建立起来的，”陈说。最值得注意的是，Gnu-RL采用了Brandon Amos和Zico Kolter开发的可微分MPC策略。这个策略使得Gnu-RL既高效又灵活。

 

Berges和Chen在第六届ACM节能建筑、城市和交通系统国际会议(BuildSys 2019)上发表了他们关于Gnu-RL的论文。会议于11月13日和14日在纽约市举行。

 

展望未来，Berges和Chen认为Gnu-RL仍然有发展的空间。“我们一直在研究相对简单的情况，”Berges说。“当我们试图控制更复杂的建筑时，可能会出现并发症，所以这仍然是一个悬而未决的问题。”但至少我们把它指向了一个新的方向，这可能会激发大量研究来解决这个问题。”