彩云天⽓：⽤神经⽹络「看见」北京的下⼀场雪固原旅游十大景点
机器之⼼原创
作者：邱陆陆
终于办下了进京证的⼤雪刷屏了全北京的朋友圈，故宫门票飞速售罄，北海景⼭⼈满为患。不知道你是如何查天⽓的，作为⼀名（伪）AI ⾏业从业者，我是攒了⼀打故宫门票盯着彩云天⽓时刻准备着出发，并于昨天成功看到了紫禁城的第⼆场雪的。如果说要感谢谁的话，感谢 24 ⼩时紧盯雷达图的神经⽹络吧！
「经验告诉我们：天空的薄云，往往是天⽓晴朗的象征；那些低⽽厚密的云层，常常是阴⾬风雪的预兆……」
家喻户晓的说明⽂《看云识天⽓》⾥，描绘的是⼈类如何⽤⾁眼观察来提取特征、预测天⽓的的过程。⽽近 40 年来，⽓象⼯作者们基于⼤⽓物理⽅程，⽤更为科学和量化的「模式」⽅式，将预测的精度不断提⾼，时间范畴不断扩⼤。 亚龙湾热带天堂森林公园景点介绍
故事的另⼀⾯，⾃五年前开始，神经⽹络似乎成了各个学科领域⾥⼀把屡试不爽的，⽆论是空间抽象问题，还是时间序列问题，似乎都能取得远胜从前的效果。那么这把，是不是也能打开
⽓象领域某些隐藏的尘封的门？
事实上，「⽤神经⽹络预测天⽓」并⾮天⽅夜谭，你⼿机⾥的「彩云天⽓」APP 告诉你的「25 分钟后⾬渐停，不过⼀⼩时后还有⾬。」正是神经⽹络根据⽓象雷达基本反射率给出的预测结果。
天⽓预报是如何炼成的？⽤神经⽹络的思路和传统思路有什么不⼀样？彩云天⽓算法总监徐朋秋，为我们仔细讲述了这个神经⽹络版本的「看云识天⽓」的故事。 机器之⼼：天⽓预报有哪些种类？彩云天⽓想要做的是何种类型的天⽓预报呢？
打开中央⽓象台的⽹站，我们能看到⼀个官⽅分类法是以城市划分的笼统的城市预报，对于台风等特殊⽓象现象有专门的现象预报，还有⼀些针对环境、农业、⽔⽂等⾏业的特殊需求预报。
彩云天⽓想要做的其实也是针对特殊需求的解决⽅案，例如短临降⽔。
机器之⼼：能否介绍下，在机器学习进⼊之前，天⽓预报是如何炼成的？ 不同种类的天⽓预报流程会有很⼤差异。这⾥介绍⼀下⼤家⽇常熟悉的以⼀两天为单位的天⽓预报的预报流程。
⾸先国际⽓象组织通过全球的国际交换站收集到实况的⽓象资料，这⾥的⽓象资料不是⼤家提到⽓象所想到的云、雾这些现象，⽽是解⼤⽓物理⽅程需要的基本量：⽔汽含量、温度、湿度、辐射等。
随后，这些⽓象资料进⼊⼀个数值模式的同化系统中，经过⼀个四维变分同化，输出未来 10-15 天范围内逐⼩时的状态预报。
同化指的是把想要进⼊⼤⽓物理⽅程，但是不属于基本量的其他数据，变成基本量。例如，风速（⼤⽓流速）也是⼀个基本量，但是直接探测流速，尤其是⼤⾯积的流速是很困难的。因此有⼈就研究了⼀个⽅法，认为卫星图⾥观测到的云的移动和风有⼀些关系，就把云的移动的资料同化到了⼀个模式中，转化成了风。 同化完成之后，我们根据⽓象模式，也就是⼀系列⼤⽓物理⽅程组，输⼊地表往上的三维结构⾥每⼀层的⼤⽓状态基本量，计算这些基本量在未来的值，也就是未来的湿度、风向、风速等等。
接下来，根据未来的⽓象基本状态，⼈们把能想到的影响因素都考虑进来，预测天⽓情况，⽐如多云、下⾬、有雾等等。
最后，因为推断过程中仍然有很多⼈类未知的因素，即使所有基本量都是准确的，也依旧⽆法准确地判断「是否会下⾬」。这时，天⽓预报员就会根据他看数值预报多年的经验以及在当地长期⽣活的经验，对预报结果进⾏⼀些修正。
整个过程，尤其是⽓象模式计算所需的计算量格外巨⼤，中国的⽓象模式跑在太湖之光超级计算机上，⽽世界上排名靠
整个过程，尤其是⽓象模式计算所需的计算量格外巨⼤，中国的⽓象模式跑在太湖之光超级计算机上，⽽世界上排名靠前的超算⾥，也有好⼏台都在跑⽓象模式。
机器之⼼：引⼊机器学习能够帮助这个过程吗？
澳大利亚前十所大学
可以的，主要在整个过程中需要进⾏模糊估计的部分。
在刚才的过程⾥，存在模糊估计的部分有：
•需要当前状况的⾯数据，但是只有观测站的点数据，因此需要对当前状况进⾏猜测（类似插值）
•同化⼯作，把⼀些⾮基本量数据通过⼀些公式转化为基本量，因为同化公式通常是⼀些经验公式，没有预报公式那么可靠，也需要⼀定的估计
•解⽅程的时候，不同的地表（城市，树林，岩⽯，等）与空⽓摩擦，产⽣的热⼒学效应不⼀样，通常采⽤的⽅式是⽤某⼀个摩擦系数代表⼀类地表，但是这个预估过程中间也可以通过机器学习做到更准确
•从得到⽅程结果到预测实际天⽓的过程⾥，很多影响天⽓的因素实际上很难被纳⼊⼀个⾮常精确的模型当中：例如「是否会下⾬」这样的微物理过程中存在很多的模糊因素。
此外，也有很多⼈类活动影响天⽓的例⼦。例如华东地区的雾霾就会影响地区的温度、能见度，甚⾄湿度：相同湿度下，这些粒⼦的存在让⽔蒸⽓更容易凝结成⽔滴。⽽如果想要⽤精确的⽅程描述雾霾的发展，需要拿到精确的排放关系，⽽事实上是没有⼈能实时获得所有的⼯⼚、热电⼚的排放数据。
在上述这样的情况下，⼈们仍然希望尽可能准确地对天⽓进⾏预测，对未来⽓象进⾏估计，就可以⽤机器学习的⽅式，或是说参数估计的思想，对⼀些模糊的地⽅进⾏模糊的判别，然后去进⾏模糊的估计，判断模糊要素对未来的影响。
最后，我们还有⼀个⾮常宏⼤的理想：我们发现整个⽓象模式这套解⽅程体系是可以反向传播的，所以我们⽴志把整个⽅程组做成⼀个可以反向传播的神经⽹络！当然我们距离这个⽬标还⾮常遥远，⽤模式⽅式进⾏天⽓预报这个过程，已经业务化运⾏ 40 年了，想到能与之匹敌的神经⽹络，是有着⾮常巨⼤难度的。
深度学习成体系的应⽤时间也并不长，深度学习和⽓象领域的结合也处于刚刚开始的阶段。现有的⼏篇⼯作⼤部分还是在短临降⽔领域。
机器之⼼：现在有哪些天⽓预报过程中使⽤了机器学习吗？
机器学习对于⽓象来说并不是「新鲜事」，机器学习最早的应⽤领域之⼀就是⽓象判别。现在整个⼤⽓学界也⼀直在这⽅⾯进⾏致⼒于它的改进，每年都有各种各样的⼈去发明新的同化算法、预报算法，改进⾥⾯的参数。
⽐较知名的应⽤机器学习的例⼦包括，预报台风强度和强对流天⽓。
台风是⼀个⼤家很关⼼的现象，最好的算法是⼀个机器学习算法：它集合了⼀些模式⼈⼯抽取的特征，利⽤ SVM、随机森林之类的⽅式对台风强度做预判。
另外⼀个例⼦是强对流天⽓的预测。对于冰雹、⼤风、闪电这些现象的预测，有⼀种⽅法是⽤机器学习判定其发⽣位置。近年来这个算法在评测中已经超越了⼈类预报员了。
机器之⼼：彩云天⽓为什么想要做短临降⽔？⽅法和传统⽅法有什么区别？
其实「深度学习和⽓象结合」并不是我们的切⼊点。我们有⼀些更为直接的由需求转化⽽来的初衷。⽐如作为⼀名⽣活在北京的⾃⾏车爱好者，我会特别困扰于北京夏天短临降⽔报不准的问题：⼏⼩时区间内的⼩范围降⽔，尤其是夏天，传统⽅法报出来的结果没法⽤的。
上⾯这是需求⽅⾯，⽽在技术⽅⾯，2000 年之后，我国⽓象雷达得到了⼤范围的普及。⽓象雷达会主动发送 2 GHz 到3 GHz 、和 Wi-Fi 波段差不多的电磁波，以分钟为单位进⾏扫描。根据散射⽅程可以
算出来，这样的电磁波对零点⼏毫⽶⼏毫⽶⼤⼩的粒⼦特别敏感，⽽散射回来的波的强度就和粒⼦的个数以及体积有关。
⽽降⽔就是⽔蒸⽓到了空中，先变成⼩冰晶或者⼩⾬滴，然后越来越⼤，直到最⼤的时候就是落到地上的时候了。因此可以观察整个过程，回波最强的时候就是⽔滴体积最⼤，个数最少的时候，也是⾬要落到地上的时候了。利⽤这种原理，我们就能探测到空中那些个数⼜多体积⼜⼤的例⼦，⽽这种例⼦在经过⼀些质量控制⽅法筛选之后，其实就是降
理，我们就能探测到空中那些个数⼜多体积⼜⼤的例⼦，⽽这种例⼦在经过⼀些质量控制⽅法筛选之后，其实就是降⽔。
所以我们是根据雷达图对短临降⽔做预测。然后以⼿机 app 的形式呈现给⽤户随时查看。
现阶段我们希望能够成为模式的⼀种修正，⼀⽅⾯让我们对⽓象有⼀个更好的了解，另⼀⽅⾯是能够服务到⼤家：模式能够报得好的东西，⽐如⽓压，通常离⼤家的⽣活很远。我们想要报⼀些离⼈们⽣活更近的、不⼀定是纯⽓象范围的问题，例如雾霾。
机器之⼼：⽤⽓象雷达进⾏短临降⽔预测有哪些优缺点？
优点是它相对⽐较精确。利⽤⽓象雷达，我们就可以⽤分钟级的数据对其扫描范围（⼤约 250m x 250
m）内是否会发⽣降⽔进⾏⾮常精确预测。
缺点是它也会受到⼀些⼲扰：⽐如飞机飞过也会有回波，鸟飞过也会有回波，还会绵延好⼏分钟，不能说飞机和鸟下⾯正在下⾬。再⽐如中国尊它特别⾼，挡到了雷达，也不能预报说中国尊下⾯⼀直在下⾬。
机器之⼼：在利⽤雷达数据进⾏短临降⽔预报的过程中是否有⽤到深度学习？
完成整个过程的第⼀代模型可以分为分割和预测两部分。都是利⽤深度学习完成的。
马来西亚必去景点排名⾸先，分割的⽬的是要排除⼲扰，把飞机、飞鸟、中国尊以及⼀些不是降⽔的⼤⽓扰动出来，判断雷达收到的回波究竟是不是降⽔回波。这个模型就是利⽤图像分割模型完成的。当时以 U-net 和 SegNet 为基础模型，标注了数据进⾏了训练。
分割完成之后的预测部分也采⽤了全深度学习模型。这是因为想要⽤传统的拿基本量、解⽓象⽅程做短临降⽔问题是不可⾏的：想做短临降⽔意味着需要分钟级的基本量数据，但是这部分数据在全球范围内都不是公开可得的。
因此，我们的思路是，既然没有办法建⽴⼀个完备的⽅程组并⽤其进⾏预测，那么不如进⾏模糊预测。⽽我们最初判断深度学习可以做这个预测的原因是，这份⼯作是⼈能做的，⽽且这种⼈为预测在
⽓象部门其实已经很常见了。举个例⼦，北京在下⾬之前会有时候⼿机上会收到雷电预警，就是由⽓象局的「⽓象雷达短临岗」的⼯作⼈员在雷达图上观测到相应的特征，然后挂出的预警。
我们训练了⼀个端到端的⽹络，把特定时间分割过的雷达图以及⼀些其他数据做输⼊，把未来⼀个时间点的分割过的雷达图做输出进⾏预测。例如雷电的预测就是输出⼀张和输⼊相同⼤⼩的矩阵，每个点上的值代表这个位置发⽣雷电的概率。
机器之⼼：现在的短临模型和第⼀代模型有什么区别？
现在的模型把分割和预测两个分离的过程合到了⼀起，做了⼀个完全端到端的模型。
好处是⽐原来还要⽅便很多。坏处就是有时候因为模型没见过特定的样例判断错了之后我们还要把模型拆回去检查它为什么错。
鄂州天气预报现在的模型在六个⼩时的时间范围内已经可以做到和模式预报的结果差不多了。
机器之⼼：数据集如何收集？需要⾃⼰进⾏标注吗？有哪些注意事项？
我们⾃⼰做了标注⼯具，⾃⼰进⾏了标注。全国有两百多个雷达，夏天和冬天的数据不⼀样，所以我们标注了⼗万张左右的雷达数据，⽤各种数据增强⽅法把训练集规模扩⼤到⼏千万。
不同季节、不同纬度的数据都要囊括，⽐如哈尔滨和海南的热⼒学性质就不⼀样，然后不同地形也都要采样，⽐如说西安，因为南⾯有秦岭，就和其他附近没有⼭的城市不⼀样。
机器之⼼：除了短临降⽔之外，还打算⽤深度学习做其他预报吗？如果把深度学习模型视为⼀样⼯具，如何⽤这些⼯具解决特定问题呢?
有的，我觉得在短临之外也有很多可以做的地⽅：因为⼀⽅⾯短临能解决的问有限，另外⼀⽅⾯我们想把短临在⽐较长的时间轴上融合起来，做成⼀个短时间也准、长时间也准的预报。
⽓象领域的深度学习可以概括为⼀个「看需求造模型」的过程。
现有的深度学习，⼏乎每个模型都可以被拆分为⼀堆组件。⽽组件的类型也就三、四种：例如以卷积层和其他线性层、⾮线性层、上下采样层，还有⼀些规范化层（norm）。我们要做的就是⽤各种⽅式糅合这四类层，把它做成⼀张计算图。
糅合的过程中可以从⼀些物理的⾓度来思考问题：⽐如是否需要时间平移不变性、空间平移不变性，然后⾮线性度需要多少。甚⾄还有⼀些问题，就像之前的基于「模式」的⽅法⼀样，整个⽅程都已经写定了，我们只需要优化⼀些参数。换⾔之，我⼗分确定每个模型上的参数如何对应⽅程⾥的参数。然后我们就依照公式去造⼀个模型，让它去学习相应的参数。
所以说模型的规模是可⼤可⼩的，当⼀个问题的物理性质⾮常明晰的时候，其中只有很少的⼀点不确定性需要学习，此时可能⽤⼀个⼀层、两层的 MLP 就可以解决这个问题。
机器之⼼：在现有深度学习的研究中，有哪些进展可能会对⽓象⾮常有帮助呢？
最新⼀届 NIPS（NeurIPS）的最佳论⽂，神经常微分⽅程，让我们⾮常兴奋。如同前⾯所说，⽓象模式这套以⼤⽓运动基本⽅程组为核⼼的系统理论上是可以反向传播的、能够对系数求偏导的，那么理论上也可以⽤⼀个神经⽹络去模拟。但是虽然理论上有可能性，实现上却有⾮常多障碍。例如实现中，很多条件都并⾮可微分的，⽽是⽤条件语句（if else）写出来的。
因此建⽴⼀个⼤的神经⽹络需要精确地进⾏划分，把不可微分的部分剥离出去作为数据，把可微分的部分变成参数。
突破点已经有⼀些，很多研究者拿模式的输出数据去做强对流预测、海洋表⾯温度预测、短临预测等等，但后续等待着我们的⼯作还⾮常多，我们需要把⼈类已有的⽓象知识以合适的⽅式编码到神经⽹络中，减少对数据量的需求。现在模式的⽅式只需要全球⼏千个观测点的数据就能做到给出全球任何⼀个地点的输出，依靠的就是⼈类物理知识的先验。⽽模式从提出到现在已经 40 年时间，仍然与⼈有很⼤的差距，更不能说完全替代⼈，深度学习要⾛的路就更长了。
现在全球范围内，⽓象领域拥有的「智⼒资源」还是太少了，研究者⾮常少，⽓象模式计算⼜是在⽓象领域中⾮常冷门的⼀个⼦领域，真正落实到⼀个特定实际操作中需要解决的问题，可能全球范围内研究者不过数⼗⼈。
本⽂为机器之⼼原创，转载请联系本获得授权。
>鸡鸣岛好玩吗
