内华达州上空的气球    图片来源：LOON

现在，人工智能有了新本领：放气球。

根据《自然》12月3日发表的一篇论文，一种人工智能控制器能让平流层的气球一连数周待在原地。该研究结果代表了深度强化学习向现实世界应用迈进了非常难得的一步，提高了全自动环境监测成为现实的可能性。

填充氦气的“超压”气球常被用来在高层大气中开展实验，比如气象监测。如果被风吹偏了航道，它们就要返回驻点。深度强化学习可以训练人工智能系统进行决策；对于超压气球来说，这些决策包括采取哪些行动来保持它们的位置不变。

加拿大蒙特利尔谷歌研究院的Marc Bellemare和同事训练了一种人工智能控制器，这种控制器能根据风的历史记录、预报、局地风观测和其他因素（如氦气损失和电池疲劳），决定是否要移动气球。他们利用一种数据增强算法解释数据中的空白。作者将这种名为StationSeeker的技术应用到分布在全球各地的Loon气球上，包括一项在太平洋上空进行的为期39天的受控实验。受到StationSeeker控制的气球能成功实现自主导航，一旦被吹偏航道，它们能比传统控制器控制的气球更快回到驻点。

深度强化学习的应用此前已在受控环境（如电脑游戏）中得到了演示——受控环境拥有完整的数据集和明确定义的参数。但现实世界的可预测性较差，如关于环境中风的数据就不完整，因而很难采取最优调整，让气球保持在原位。英国牛津大学的Scott Osprey在同期发表的点评文章中写道，该成果代表了增强学习在现实世界应用的一次巨大进步。

相关论文信息：https://doi.org/10.1038/s41586-020-2939-8