人工智能犹如上世纪九十年代的互联网，以惊涛之势席卷大江南北、带动着家当革命。
作为聪慧建筑运维领域的专业做事商，有志于"用数字智能做事每个建筑，创造可持续的美好生活"，在聪慧之光的感召下，博锐尚格在人工智能之路上苦苦探索。
深知于聪慧之路上前行，不仅须要勇往直前的勇气，还须要笃定、镇静，同时这一前探过程，绝不该当孤独的求索，博锐尚格CTO沈启博士整合博锐尚格在人工智能之路上的探索成果，以"AI每天见"系列文章与业界分享、谈论AI技能于智能建筑运维领域的运用之道。
理念解析：强化学习算法
强化学习是机器学习的一个主要分支，它受行为生理学启示，紧张聚焦于智能单位如何在环境中采纳策略从而最大限度地得到褒奖。
强化学习紧张由智能体（Agent）、环境（Environment）、状态（State）和动作（Action）、褒奖（Reward）组成。
智能体将在环境确当前状态下，根据褒奖旗子暗记做出动作，从而达到环境中的不同状态并得到褒奖。
强化学习的过程就像是一个老师，他不会直接的见告你一个东西的定义，不会直接的说"什么是什么"（区分于监督学习），也不会让你自学归纳（区分于无监督学习），而是一步步的勾引，在你做出精确的逻辑判断时给予褒奖，当你犯错时给予惩罚，直到终极推出最优的答案。强化学习目前有多种分类办法，譬如回合更新（Monte-Carlo update）和单步更新（Temporal-Difference update）、在线学习（On-Policy）和离线学习（Off-Policy）等。
Q-learning是强化学习算法中离线学习的一种算法，Q(s,a)是在环境中某一时候的状态S，采纳动作A能够得到的收益，智能体会根据其采纳的动作得到回报，紧张上风是利用了韶光差分法能够进行离线学习, 利用Bellman方程可以对马尔科夫过程求解最优策略，核心思想是在不同状态下采纳不同的行动构建一个Q-Table来存储Q值，从而得到最大收益。
博锐尚格运用探索：空调末端掌握
强化学习可以运用到很多建筑机电系统和设备的掌握上，以下是运用Q-learning学习算法到环境调节上的实例展示。
首先我们会初始化一个Q-table，用来存放我们的决策值；之后会根据当前所处的状态从Q-table中选取要采纳的动作，实行该动作，并打算获取的收益；末了更新Q-table和状态，再根据新的状态选择动作，循环下去直到知足终止条件。
个中，更新Q-table的算法公式如下：
Qk+1是更新后的Q值，xk是状态值，uk是采纳的动作，αk是学习率，γ是折扣因子，u'表示xk+1状态下所采纳的动作。
图示是针对新风机控室内CO2的学习过程：在不同状态下掌握动作从初始到收敛的学习的几张过程图。可以看出初始只预设了一种动作，逐渐学习得到不同CO2浓度的状态下，对应的不同掌握动作。
这种基于人工智能学习的掌握调节方法，改变了原有空调系统与人的交互办法，人们不再去设定一个自己看不懂的数字，而是反馈"是否舒适"，机器通过不断学习人的舒适反馈，自己学会了如何开空调，能够较好的提升用户的满意度。
图一. 不同状态下掌握动作的学习过程(a)-(d)从初始到学习完成收敛
运用成效：提升终极用户环境满意度
基于强化学习算法的空调末端掌握已经在博锐尚格室底细况与康健主动管理办理方案中得到运用。
室底细况与康健主动管理办理方案是针对建筑室内空间环境管理，包含监测、报警、定位、掌握、评估、改造的整体办理方案。该方案的运用，可以确保客户对付所有室底细况问题都完备知情、定位准确、处置过程在线可控，帮助业主通过工程毛病改造或基于风险提示主动调度运行模式，避免环境问题，提升空间环境体验，进而提升租金收益、肃清管理盲区，避免因环境或康健安全问题而造成的租金丢失。
实践显示，基于强化学习算法的空调末端掌握模型具有更好的自适应、自优化能力，很大程度地提高了掌握精度（10%）和环境满意度（15%），同时可以在知足需求的条件下尽可能的节能减排。
结语
强化学习算法的探索与落地运用，有效的识别了智能运维的发展方向，办理了客户深层问题。"陪客户过日子"的道路上，博锐尚格沿"用数字智能做事每个建筑，创造可持续的美好生活"方向，又迈出坚实一步。博锐尚格也期望能与更多有识之士一起，能够探索更多的AI运用之道，推动行业不断进步~