智能決策平臺REVIVE（Reinforcement learning with Virtualized Environment），能夠將(jiang)少量(liang)歷史數據轉化為強大的決(jue)策引擎(qing)。

"我們在多年的落地經驗中，吸取了非常多的教訓，我們相信這個版本，能夠帶來更加智能，準確，靈活，可信的智能決策結果。" 南棲仙策聯合創始人秦熔均這樣介紹。新發布的REVIVE更智能、更準確、更靈(ling)活、更可信(xin)：

更加智能：新版本的REVIVE SDK引入變量因果分析工具，將用(yong)戶從稠密(mi)的數據(ju)和(he)復雜交錯的流程當中解脫出來，自(zi)動進行結構(gou)優化(hua)和(he)推薦，幫助用(yong)戶輕松(song)構(gou)建模(mo)型和(he)進行虛擬環境(jing)的訓(xun)練。

更加準確：正如人類(lei)在做(zuo)決(jue)策(ce)(ce)時可以很快認知他所面(mian)臨的(de)環(huan)(huan)境，REVIVE通過生成(cheng)、自動(dong)(dong)識別并自動(dong)(dong)匹配不同(tong)環(huan)(huan)境和最佳元策(ce)(ce)略模型，對(dui)最終的(de)策(ce)(ce)略進行調(diao)優。針對(dui)實際(ji)環(huan)(huan)境，選擇出最適宜準確的(de)決(jue)策(ce)(ce)。

更加靈活：在(zai)現實應用(yong)中往往會有(you)一些隱藏變量，新版REVIVE可以(yi)輕(qing)松添加(jia)隱變量模塊，將缺失值也(ye)(ye)納入考量。同(tong)時，新版本也(ye)(ye)更容易拆(chai)分出子模塊進行修改(gai)和復用(yong)。

更加可信：REVIVE提供了決(jue)策的樹狀可視化狀態(tai)，用戶可以主(zhu)動(dong)和模型進行交互(hu)，看看做了不同(tong)改變會獲得怎(zen)樣不同(tong)的結(jie)果(guo)，嘗試不同(tong)決(jue)策，預見不同(tong)未來。

除了(le)面(mian)(mian)向通用決(jue)策(ce)場景(jing)的(de)REVIVE SDK，本場發布會上最驚艷的(de)內容，是面(mian)(mian)向工(gong)業反(fan)饋控制任(ren)務的(de)決(jue)策(ce)預(yu)訓練模型。

通用反饋控制預訓練模型

反饋(kui)控(kong)制(zhi)任務廣泛(fan)存在于(yu)大量的工業場(chang)景中。這類任務需要對實(shi)施(shi)過程中的每一步所引(yin)起的客(ke)觀效果進行感知和(he)反饋(kui)，并(bing)據此做出控(kong)制(zhi)反應，調整(zheng)下(xia)一步的計劃決策(ce)和(he)實(shi)施(shi)方案，在往復動態中達(da)到控(kong)制(zhi)目標(biao)。

不(bu)同的場景之下(xia)，工(gong)程師們需要根據不(bu)同的場景和(he)環境去調整每一個控制參(can)數，達到控制效果。如果能夠實現通用(yong)的反饋控制系統(tong)，將(jiang)為工(gong)業應用(yong)帶來巨大(da)變革。

要實現這項技術的(de)關鍵核心在于(yu)，對(dui)不(bu)(bu)同任務(wu)的(de)自動識(shi)別。只有當(dang)(dang)它識(shi)別了當(dang)(dang)前的(de)任務(wu)是什(shen)么，才(cai)能根據任務(wu)調整控制策(ce)略，以做到對(dui)不(bu)(bu)同的(de)任務(wu)都(dou)做出(chu)最優的(de)決策(ce)。

針對這個問題，南棲仙策推出了通用反饋控制系統識別器：GFSEncoder。它能夠輸出3維的(de)(de)編碼，來識別和表達(da)不同反饋控制系(xi)統(tong)的(de)(de)特征和變化。

作為神經網(wang)絡對系統的(de)理(li)解，GFSEncoder編(bian)碼的(de)每(mei)一維不會(hui)直接對應到(dao)系統的(de)物理(li)參(can)數，但是二者依然會(hui)存(cun)在一定聯(lian)系。

南棲仙策還額外發布了GFSEncoder Pro，將參數量提升50%以上。輸出的任務編碼維度從3維提升至8維，具有更強大的任務識別和編碼能力。

在發布會上，南棲仙策以滑塊的控制為例，展示了特征編碼是如何隨著物理參數的變化而變化的。B站搜索南棲仙策  可以看到完整的(de)演示(shi)過程。

最(zui)后還(huan)需(xu)要強調的是，GFSEncoder并不需(xu)要額(e)外測量系統的各種(zhong)參數(shu)。

GFSEncoder下游應用

（一）系統變動預警

很多系(xi)統(tong)在長(chang)時間(jian)的運行后會發生老(lao)化或者(zhe)損壞。通過比(bi)對GFSEncoder輸出(chu)(chu)的編碼可實時監控系(xi)統(tong)是否出(chu)(chu)現變化，預警系(xi)統(tong)失效(xiao)。

（二）系統標定

GFSEncoder還(huan)可(ke)以根據當前系統編碼(ma)與(yu)標(biao)準系統編碼(ma)的差異來調整系統的參(can)數，使用(yong)戶不需要精密測量，就可(ke)以將(jiang)系統向標(biao)準系統校準。

（三）PID參數預測

在這個應用中，南棲仙策介紹了將要推出的第二個模型，PIDPredictor。

PIDPredictor也(ye)是(shi)一個深度神(shen)經網(wang)絡(luo)模(mo)型，能(neng)夠(gou)基于GFSEncoder編碼對相(xiang)應的最優(you)PID參(can)數進行預測。GFSEncoder與PIDPredictor相(xiang)結合，可以通過系統(tong)中(zhong)的歷史軌跡信(xin)息得到最優(you)PID參(can)數。

在展示(shi)當中(zhong)，可以看(kan)出(chu)PIDPredictor所預測的PID參數的控(kong)制效果（右(you)側）會比待(dai)整(zheng)定的PID控(kong)制器好很多。B站搜(sou)索南棲仙策可以看(kan)到完整(zheng)的演(yan)示(shi)過程。

（四）通用反饋任務控制

南棲仙(xian)策還將PID控(kong)(kong)制器用(yong)神經網絡控(kong)(kong)制器替代，推出了通(tong)用(yong)反饋控(kong)(kong)制器，GFSController。GFSController是使用(yong)強化學習訓(xun)練(lian)得到的通(tong)用(yong)控(kong)(kong)制器，它由GFSEncoder與一個神經網絡控(kong)(kong)制器組(zu)合而(er)成。

結合GFSEncoder對系統的快速編碼能力，GFSController可以做到部署即運行。

發(fa)布會以平衡(heng)車任務(wu)為(wei)例，進行(xing)了展示。在部署了GFSEncoder之(zhi)后，無需進行(xing)任何針對性的(de)調節，GFSController就能夠直接將平衡(heng)車控制在穩(wen)定(ding)的(de)狀態。

作為驗(yan)證，南(nan)棲(qi)仙(xian)策將GFSController部署(shu)至無人機高度(du)控制任(ren)務中。作為對比(bi)，南(nan)棲(qi)仙(xian)策還引入了一個調好的(de)(de)二階(jie)PID完成同樣(yang)的(de)(de)任(ren)務，可以看(kan)出(chu)，GFSController與一個調好的(de)(de)PID控制器(qi)表(biao)現(xian)出(chu)了相當(dang)的(de)(de)水平(ping)。

為(wei)了測試GFSController通用(yong)性，發(fa)布會上，南棲仙策對更多(duo)的衍(yan)生(sheng)場(chang)景進行了假設和(he)模擬(ni)：如果有一天人類登陸(lu)火星(xing)或是(shi)在高空飛行，這(zhe)個無人機能否適(shi)應(ying)新的環境變(bian)化(hua)？

GFSController很快就完(wan)成了對新系統的(de)識(shi)別(bie)，其超調(diao)已經明顯降低，然(ran)而PID控制器(qi)的(de)超調(diao)依然(ran)很嚴重(zhong)，以致于最后無(wu)人機撞擊到地面并(bing)損毀。B站搜(sou)索南棲仙(xian)策可以看到完(wan)整的(de)演示(shi)過程。

需要注意的(de)(de)是，這里的(de)(de)PID控(kong)(kong)制(zhi)(zhi)器(qi)是一(yi)(yi)個二階級聯的(de)(de)PID控(kong)(kong)制(zhi)(zhi)器(qi)。而(er)GFSController則是一(yi)(yi)階控(kong)(kong)制(zhi)(zhi)的(de)(de)。事實上，GFSController也(ye)能夠通(tong)過級聯來提升控(kong)(kong)制(zhi)(zhi)效果。這意味著GFSController除了通(tong)用(yong)性之外(wai)，還(huan)具有強大的(de)(de)拓展性。

南棲仙策已經將GFSEncoder的相關的模型發布到了REVIVE官網。 歡迎大家下載(zai)體驗。

賽事回顧

強(qiang)化學(xue)(xue)(xue)習(xi)創新(xin)創意(yi)大(da)賽，旨在(zai)激發強(qiang)化學(xue)(xue)(xue)習(xi)技術的(de)應用(yong)創新(xin)，不設具體賽題。鼓勵(li)選手了解強(qiang)化學(xue)(xue)(xue)習(xi)的(de)機制(zhi)原理(li)、掌握強(qiang)化學(xue)(xue)(xue)習(xi)的(de)任務建模、發掘強(qiang)化學(xue)(xue)(xue)習(xi)落地(di)場景、展現強(qiang)化學(xue)(xue)(xue)習(xi)的(de)創新(xin)應用(yong)價值(zhi)。

大賽(sai)自6月17日開(kai)賽(sai)以(yi)來吸引國內外高等(deng)院校、科研單位(wei)、企業(ye)單位(wei)負責人等(deng)數百(bai)人參(can)與(yu)其中。

大賽經(jing)初賽、復賽兩輪(lun)，4個月(yue)的激烈角逐之(zhi)后，最(zui)終經(jing)由學術專家和產業專家共同評選出12支(zhi)獲獎(jiang)隊伍。其中(zhong)4支(zhi)隊伍分別斬獲"最(zui)佳項目獎(jiang)"、"最(zui)佳實踐獎(jiang)"、"最(zui)佳創意獎(jiang)"、"最(zui)佳社會(hui)價值獎(jiang)"；8支(zhi)隊伍獲得"優秀項目獎(jiang)"。

獲獎選手 Talk Time

最佳項目獎：止于至善隊

"基于強化學習，實現分布式能源系統的智能決策未來是可行的。"

"目前國內外的(de)分布式(shi)能源管理(li)平臺，雖然在數(shu)據感知(zhi)層大量(liang)使用(yong)了人工智能技術，但在決策層還(huan)是(shi)基于(yu)傳統的(de)優化(hua)算法。這些算法受限于(yu)計算精度和實時性不(bu)能兼(jian)得(de)，而且(qie)很難處(chu)(chu)理(li)新能源帶來的(de)波動(dong)性和隨機性問(wen)題(ti)。而強化(hua)學習可以處(chu)(chu)理(li)這些問(wen)題(ti)。"

隊(dui)長侯勝(sheng)任(ren)來(lai)自荷蘭代爾(er)夫特理工大(da)(da)學，吳明賀、顏子(zi)恒來(lai)自東南大(da)(da)學。為應對全球氣候變(bian)暖和能(neng)(neng)源(yuan)危(wei)機，這(zhe)支隊(dui)伍將強化學習應用于新能(neng)(neng)源(yuan)沖擊下的(de)(de)能(neng)(neng)源(yuan)管理系(xi)統(tong)，實現分布式能(neng)(neng)源(yuan)系(xi)統(tong)的(de)(de)智(zhi)能(neng)(neng)決策，使能(neng)(neng)源(yuan)系(xi)統(tong)運(yun)行(xing)在(zai)高(gao)效、經(jing)濟、安(an)全、可靠的(de)(de)運(yun)行(xing)區間。在(zai)滿足(zu)用戶需求的(de)(de)前提下，大(da)(da)幅度(du)降低公司系(xi)統(tong)運(yun)行(xing)成本，為客戶創(chuang)造(zao)更多的(de)(de)收益(yi)。

最佳創意獎：Brain Control隊

"我一直認為強化學習方法會為生命科學領域里的一些問題帶來突破。"

"本次獲(huo)獎項目是(shi)我們團隊將(jiang)強(qiang)化學習方法應用(yong)大(da)腦疾病治療(liao)的一次嘗試，目的是(shi)為了(le)更(geng)好(hao)地幫助(zhu)醫(yi)生(sheng)和病人選擇更(geng)合適的治療(liao)策略，這不僅可以為病人帶來更(geng)優(you)的治療(liao)效果，更(geng)可以釋(shi)放(fang)大(da)量的醫(yi)療(liao)資源。"

這是來自復旦大學的兩位博士生，李巖和權昭宇，他們將強化學習應用于自動化腦深部電刺激的參數調節。也就是通過強化學習自動尋找個性化的最優刺激參數，產生最優的疾病治療方案。
這(zhe)項(xiang)技術在未(wei)來將有(you)機(ji)會在面向(xiang)帕金(jin)森、癱瘓(huan)、癲(dian)癇和(he)抑(yi)郁癥等的疾病治(zhi)療(liao)中發揮巨大作(zuo)用。減(jian)輕病人(ren)的痛苦，減(jian)少醫生(sheng)的工作(zuo)量。

最佳社會價值獎：Traffic Go隊

"作為交通從業者，我非常渴望能夠攻堅克難，打造適用于我國的先進城市交通優化控制與緩堵平臺。"

這(zhe)是來自(zi)同濟大學的(de)博士后王一喆，他對被(bei)稱為"交通(tong)工程領(ling)域王冠(guan)上的(de)明珠"的(de)世(shi)界(jie)性難(nan)題：交通(tong)控制和(he)緩(huan)解擁堵 發起挑戰。

基于(yu)(yu)強化(hua)學習(xi)的(de)交(jiao)(jiao)通控制(zhi)算法及機(ji)制(zhi)，他通過(guo)構建(jian)可復用性(xing)強，自動(dong)化(hua)程度高的(de)關鍵(jian)特征提取(qu)程序(xu)；搭建(jian)層次分(fen)明，易于(yu)(yu)查詢的(de)數據結構，即使面對隨機(ji)性(xing)強，波(bo)動(dong)性(xing)大且呈非(fei)線性(xing)變化(hua)的(de)復雜城(cheng)市道路交(jiao)(jiao)通狀(zhuang)況，也可以獲得更高的(de)可測性(xing)和可控制(zhi)性(xing)。

最佳實踐獎：穿梭在銀河的火箭隊

"希望能幫助更多人縮減決策時間，讓人們將時間用在有更有價值的地方。"

"通過本次比賽，我們(men)更(geng)加(jia)堅信了強化學習在決(jue)策領域巨大的(de)潛力(li)，希望能將學到的(de)知識應(ying)用于實踐(jian)，同時(shi)幫助大家(jia)理解(jie)機器決(jue)策過程中(zhong)每一步的(de)含義，也就是為什么這樣做(zuo)，能夠帶來更(geng)高的(de)收(shou)益(yi)。"

這支隊(dui)伍的(de)陳濤(tao)，史晨佳和(he)任智軍老師來自(zi)于(yu)上海商學院，他們聚焦個體(ti)投資者和(he)機構，提供(gong)完整(zheng)高(gao)效可行的(de)投資交易策略(lve)。他們的(de)項目對中國的(de)A股市場的(de)環境和(he)數據進(jin)行建模，將深度強(qiang)化學習應(ying)用(yong)到(dao)金融領域，使用(yong)智能(neng)體(ti)模擬交易員(yuan)，在A股市場中進(jin)行選股和(he)擇(ze)時交易，讓決(jue)策更優越、更簡單。

在(zai)項目(mu)進行(xing)到中(zhong)后(hou)期，為了(le)節省(sheng)算(suan)力和時間(jian)，他們在(zai)REVIVE平臺(tai)進行(xing)了(le)多智能(neng)體模型的(de)(de)訓練。"不(bu)得不(bu)說，「仙啟」的(de)(de)表現真的(de)(de)遠超團隊預期，只需(xu)要少量的(de)(de)代碼(ma)便可以進行(xing)實操，這也極大(da)的(de)(de)彌補了(le)團隊在(zai)多智能(neng)體模型上編碼(ma)能(neng)力不(bu)足(zu)的(de)(de)缺陷，早點使用該平臺(tai)也許項目(mu)進度(du)會(hui)快很多。"

該項目在"東(dong)方財富杯"全國大學生金融挑戰(zhan)賽(sai) 進(jin)行了(le)落地驗(yan)證，以(yi)總(zong)收(shou)益20.93%戰(zhan)勝了(le)全國98%的選(xuan)手。為他們高興！

在實際場景中的落地

南棲(qi)向參賽選手(shou)們提供(gong)了REVIVE [仙啟(qi)](//revive.cn/）在實(shi)際場景中(zhong)的落(luo)地(di)。

南棲向參賽選手(shou)(shou)們提供(gong)了(le)REVIVE「仙(xian)啟」幫(bang)助(zhu)選手(shou)(shou)還(huan)原(yuan)現實(shi)場(chang)景(jing)，構(gou)建(jian)無限(xian)接近真(zhen)實(shi)的虛擬(ni)環(huan)境，在這個(ge)環(huan)境中(zhong)進(jin)行(xing)策(ce)略驗證(zheng)和(he)對比，獲得(de)最終可遷(qian)移(yi)到實(shi)際應用中(zhong)的最佳策(ce)略。)幫(bang)助(zhu)選手(shou)(shou)還(huan)原(yuan)現實(shi)場(chang)景(jing)，構(gou)建(jian)無限(xian)接近真(zhen)實(shi)的虛擬(ni)環(huan)境，在這個(ge)環(huan)境中(zhong)進(jin)行(xing)策(ce)略驗證(zheng)和(he)對比，獲得(de)最終可遷(qian)移(yi)到實(shi)際應用中(zhong)的最佳策(ce)略。

此外(wai)，感謝張偉楠、安波、張哲先、俞揚等教授和(he)老(lao)師，抽出(chu)寶貴時間，為選(xuan)手們提供了一對一的指導和(he)講(jiang)座。

為了讓(rang)更多(duo)對強化學習應用感(gan)興(xing)趣的人從本次(ci)大賽(sai)中獲(huo)益，主辦方在南棲仙策B站(zhan)官方賬號上公開了部分講(jiang)座內容，點擊觀看講(jiang)座視頻(pin)。

大賽還涌現出了一批精彩的應用場景和項目，讓我們一起來看(kan)看(kan)獲獎名(ming)單。

誠如張偉(wei)楠老師在(zai)講(jiang)座中所(suo)言，強化(hua)(hua)學(xue)習(xi)所(suo)對(dui)標的(de)決策智能擁有非常廣闊的(de)市場，因為(wei)在(zai)任何一個(ge)行業，一旦有決策優化(hua)(hua)的(de)需求，就有可能使用到強化(hua)(hua)學(xue)習(xi)技術。

讓我們共同期待，在未來，更多的人能夠借助強化學習的力量改變世界。

強(qiang)(qiang)化(hua)學(xue)習是一(yi)種數據驅動的(de)(de)決(jue)(jue)策(ce)技術，具有自主(zhu)學(xue)習、高度非線(xian)性(xing)等(deng)特性(xing)，可(ke)有效(xiao)應(ying)對工業(ye)(ye)控(kong)制(zhi)(zhi)面臨(lin)的(de)(de)一(yi)系列難題。南棲(qi)仙(xian)策(ce)作(zuo)為(wei)強(qiang)(qiang)化(hua)學(xue)習AI智能決(jue)(jue)策(ce)應(ying)用(yong)的(de)(de)領軍(jun)者，將(jiang)強(qiang)(qiang)化(hua)學(xue)習應(ying)用(yong)于(yu)工業(ye)(ye)控(kong)制(zhi)(zhi)任務，產生了多個落地案例(li)。南棲(qi)仙(xian)策(ce)團隊將(jiang)強(qiang)(qiang)化(hua)學(xue)習應(ying)用(yong)的(de)(de)經驗總結(jie)編(bian)寫了《強(qiang)(qiang)化(hua)學(xue)習控(kong)制(zhi)(zhi)白(bai)皮書(shu)》（以下簡稱為(wei)《白(bai)皮書(shu)》，下載鏈接：），《白(bai)皮書(shu)》結(jie)合(he)實際(ji)案例(li)，對強(qiang)(qiang)化(hua)學(xue)習在(zai)工業(ye)(ye)控(kong)制(zhi)(zhi)中的(de)(de)應(ying)用(yong)過(guo)程進行了介紹，并展示了強(qiang)(qiang)化(hua)學(xue)習帶來的(de)(de)優勢(shi)。

白皮書下載鏈接：

白皮書共分為三個部分

第一部分：概述流程工業生產控制的挑戰

現(xian)有(you)的(de)工(gong)業生(sheng)產管理流程，多(duo)個(ge)環(huan)節由人工(gong)把控(kong)，依賴經(jing)(jing)驗(yan)知識且響(xiang)應速度緩慢(man)。過程控(kong)制基于經(jing)(jing)典控(kong)制算法(fa)，在大范圍動態條件復(fu)雜系統的(de)優化控(kong)制問題上存(cun)在不足。系統運維(wei)缺(que)乏(fa)數據支撐，故(gu)障難預警、風險不可(ke)控(kong)，常造成企業產品(pin)不夠(gou)(gou)穩(wen)定、生(sheng)產線持續性不夠(gou)(gou)高、產量(liang)波動的(de)應對(dui)能力不足、生(sheng)產損耗過大成本(ben)難以控(kong)制等問題。

第二部分：介紹南棲仙策強化學習工具的優勢

南棲全球領先的數(shu)據(ju)驅動(dong)(dong)強(qiang)化學(xue)(xue)(xue)習工(gong)具(ju)POLIXIR REVIVE提(ti)供了數(shu)據(ju)模(mo)擬環(huan)境和(he)強(qiang)化學(xue)(xue)(xue)習優(you)化技術，在(zai)火力發(fa)電、化工(gong)生(sheng)產(chan)、自來水/污水生(sheng)產(chan)處理等多個工(gong)業(ye)(ye)場景帶來了不同的能力，與(yu)MPC（Model Predictive Control）的對比為例，闡述了在(zai)系(xi)統建模(mo)方法、系(xi)統模(mo)擬能力、控(kong)(kong)制策略能力上(shang)(shang)更具(ju)有實施快、成本低(di)、建模(mo)靈活、適(shi)用面廣、實用性(xing)強(qiang)等特點。在(zai)實施上(shang)(shang)，南棲通(tong)過云端協(xie)同架構，實現了POLIXIR REVIVE與(yu)ReinOptima工(gong)業(ye)(ye)邊緣控(kong)(kong)制器(qi)的聯動(dong)(dong)。通(tong)過云端協(xie)同架構，當ReinOptima的預(yu)測性(xing)維護模(mo)塊識別出系(xi)統發(fa)生(sheng)偏移時，自動(dong)(dong)將歷(li)史數(shu)據(ju)傳輸到REVIVE系(xi)統更新(xin)虛擬環(huan)境模(mo)型和(he)控(kong)(kong)制策略，實現對環(huan)境變化的自動(dong)(dong)適(shi)應和(he)持續的自我學(xue)(xue)(xue)習與(yu)進化。

第三部分：南棲仙策技術優勢與場景應用案例

《白皮(pi)書》通過(guo)實際案例分別對能源(yuan)與(yu)流程工業制(zhi)造"高精度控制(zhi)、高穩定控制(zhi)、大滯后(hou)控制(zhi)、全局目標(biao)控制(zhi)"四個不同維度的需求進行了(le)詳細解讀。

>>高精度控制

傳統(tong)人工控制增(zeng)壓泵房的(de)(de)(de)給水，經常導致水量和能耗過(guo)高或過(guo)低。通(tong)過(guo)POLIXIR REVIVE產(chan)生的(de)(de)(de)泵頻控制策略，可大大降(jiang)低出口流(liu)量與(yu)目標流(liu)量差(cha)值(zhi)，達到系(xi)統(tong)所(suo)期(qi)望的(de)(de)(de)精準控制，并與(yu)歷史(shi)同時(shi)期(qi)千噸水電(dian)耗相比，節省電(dian)耗約 7.16%，有(you)效(xiao)提高了泵房的(de)(de)(de)經濟效(xiao)益(yi)。

>>高穩定控制

在燃煤火(huo)電機組控(kong)(kong)制中，由(you)于外部擾(rao)動，導(dao)致主(zhu)蒸汽溫度(du)長期(qi)不穩定。傳統的PID控(kong)(kong)制存在嚴(yan)重的過調、延(yan)遲等(deng)問(wen)題，導(dao)致超溫、溫度(du)過低(di)等(deng)情況(kuang)出現，影響發電效(xiao)率(lv)等(deng)。通過POLIXIR REVIVE產(chan)生(sheng)的溫控(kong)(kong)策略，可將出口溫度(du)有效(xiao)控(kong)(kong)制在一定范(fan)圍內(nei)，并幫助節省燃煤 0.06%，保障穩定的同時延(yan)長了設備(bei)的使(shi)用壽命。

>>大滯后控制

在磨煤機生產過程中，由于(yu)目標出(chu)(chu)口(kou)煤粉溫(wen)(wen)度(du)與(yu)控(kong)制風量之間(jian)存(cun)在較長的(de)時(shi)間(jian)差(cha)，整體(ti)系統(tong)存(cun)在滯后性、長距離控(kong)制等問(wen)題，以及風速(su)測不準(zhun)導致風速(su)控(kong)制器的(de) PID 控(kong)制失效。通過POLIXIR REVIVE產生的(de)冷熱一次(ci)風擋板位控(kong)制策(ce)略，可使出(chu)(chu)口(kou)風粉溫(wen)(wen)度(du)分布更(geng)貼近目標溫(wen)(wen)度(du)，系統(tong)運行(xing)工(gong)況更(geng)加穩定。

>>全局目標控制

循(xun)(xun)環(huan)(huan)水泵的優化控制難(nan)點體(ti)現(xian)在需全(quan)局考慮整(zheng)(zheng)鍋爐運行(xing)流程，尋找最優的耗(hao)電-發電平衡點，PID控制難(nan)以實現(xian)，通(tong)過(guo)POLIXIR REVIVE產生的循(xun)(xun)環(huan)(huan)水泵控制策略，可在330MW熱電聯產機組循(xun)(xun)環(huan)(huan)水泵控制中，將整(zheng)(zheng)體(ti)指標值降低約0.53，相較(jiao)于PID控制策略，節能提升3.52%。

南棲仙策《強化學習控制白皮書》全文，可(ke)點擊下方(fang)鏈接下載：

南棲仙策是強化學習AI智能決策應用的領軍者，在汽車標定業務上。南棲將強化學習技術與汽車標定場景充分融合，摸索并總結出數據驅動的虛擬標定解決方案，旨在高效、高精度、低成本地完成標定業務。南棲仙策汽車交付團隊基于強化學習研發的技術優勢、服務汽車行業客戶的經驗，結合整車轉鼓排放標定、混動標定兩個實際案例，編寫了《汽車虛擬標定白皮書》（以下簡稱為《白皮書》），展示了強化學習應用技術帶來的AI能力，以及幫助汽車行業客戶提升核心競爭力的潛(qian)力。

《白皮書》分(fen)為三部分(fen)進行(xing)闡述。

第一(yi)部分：概(gai)述整車標(biao)定概(gai)念及車企面對的(de)四(si)大行業難(nan)題。

《白皮書(shu)》總(zong)結了汽車行業客戶常(chang)面(mian)臨的標定難題：

1. 標定(ding)復雜度(du)高，標定(ding)參(can)數多達(da)上千個(ge)。人工聯合調優難，性能“將就”。

2. 強烈依賴經(jing)驗(yan)，需要經(jing)驗(yan)豐富的工程師。人員(yuan)易(yi)流(liu)失，經(jing)驗(yan)隨之(zhi)帶走。

3. 試(shi)驗成本(ben)高昂(ang)，物(wu)理實驗開銷難降低。研發成本(ben)難降低，擠壓利潤空間(jian)。

4. 迭(die)代周期冗長(chang)，需多次反復迭(die)代試錯。拖延產品發布，耽(dan)誤市(shi)場時(shi)機。

除以(yi)上4點外，近(jin)兩年(nian)受(shou)新(xin)冠(guan)疫情的影響，標定實測工作常(chang)(chang)常(chang)(chang)中(zhong)斷，嚴重影響了業務進展。

第二(er)部分：介紹南棲強化學習工具的不同與(yu)優(you)勢

南棲全球領先的數(shu)(shu)據驅(qu)動強化(hua)學習(xi)工具REVIVE提供的數(shu)(shu)據模(mo)擬環境(jing)和(he)強化(hua)學習(xi)優(you)化(hua)可有助于解決車企面臨的標定難題。REVIVE是面向(xiang)行(xing)業(ye)專家(jia)的強化(hua)學習(xi)工具，通過數(shu)(shu)據驅(qu)動環境(jing)虛擬技術，進(jin)行(xing)大(da)量虛擬推(tui)演與試錯，尋(xun)找最優(you)方(fang)案。

REVIVE基于汽車標定數據模擬環境的強化學習解決方案過程：

REVIVE方案主要分為四步：首先在人工標(biao)(biao)(biao)定(ding)參數(shu)(shu)的(de)實(shi)車(che)驗證(zheng)實(shi)驗中收集對應的(de)性能(neng)狀態秒(miao)采數(shu)(shu)據并進行(xing)簡單(dan)的(de)數(shu)(shu)據整理；然后根據汽車(che)控制基礎(chu)邏(luo)輯(ji)(ji)構建(jian)業(ye)務(wu)模(mo)型，導(dao)入(ru)數(shu)(shu)據，使用(yong)(yong)REVIVE系(xi)統中的(de)環境(jing)模(mo)型訓練功(gong)能(neng)，訓練控制邏(luo)輯(ji)(ji)圖中所(suo)有的(de)神經網絡模(mo)塊，得(de)到(dao)可運行(xing)的(de)“數(shu)(shu)據仿真車(che)”，并使用(yong)(yong)可視化評估(gu)指標(biao)(biao)(biao)驗證(zheng)虛(xu)擬(ni)環境(jing)與(yu)真實(shi)環境(jing)的(de)一(yi)致性；再使用(yong)(yong)REVIVE系(xi)統中的(de)策略模(mo)型訓練功(gong)能(neng)，得(de)到(dao)優化后的(de)標(biao)(biao)(biao)定(ding)參數(shu)(shu)；最后將優化后的(de)標(biao)(biao)(biao)定(ding)參數(shu)(shu)在虛(xu)擬(ni)環境(jing)中驗證(zheng)，評估(gu)有效則上載到(dao)汽車(che)進行(xing)實(shi)車(che)驗證(zheng)。

第三部(bu)分：結(jie)合發(fa)動機整車排(pai)放標定、混(hun)動標定兩個案例(li)，介紹(shao)REVIVE成(cheng)功(gong)應(ying)用(yong)方案。

《白皮書》實例證明，南棲獨特(te)的(de)(de)AI虛擬標定(ding)技術可顯(xian)著降低(di)汽車尾(wei)氣排放(fang)值。與人類工(gong)程師相(xiang)比，THC降低(di)了51%，CO降低(di)了29%，NOx降低(di)了18%，優于國六排放(fang)標準(zhun)，并為后續車輛設計(ji)環節提供了充足的(de)(de)排放(fang)余量。

在串并聯混動系統(tong)標定任務上同(tong)樣成功。在起點—終點電量(liang)相(xiang)同(tong)的(de)約束下，能優化(hua)得(de)到更(geng)合(he)理(li)的(de)利用電池電量(liang)容量(liang)、更(geng)高效的(de)利用發(fa)動機最優工況特性(xing)的(de)混動策略(lve)，使得(de)整車(che)在WLTC實驗(yan)中取(qu)得(de)更(geng)低的(de)油(you)耗。

南棲仙策《汽車虛擬標定白皮書》全文下載鏈接如下：