智能決策平臺REVIVE（Reinforcement learning with Virtualized Environment），能夠將少量歷史數(shu)據轉(zhuan)化為強大的決策引擎。

"我們在多年的落地經驗中，吸取了非常多的教訓，我們相信這個版本，能夠帶來更加智能，準確，靈活，可信的智能決策結果。" 南棲仙策聯合創始人秦熔均這樣介紹。新發布的REVIVE更(geng)(geng)智能、更(geng)(geng)準確(que)、更(geng)(geng)靈(ling)活、更(geng)(geng)可信：

更加智能：新版本的REVIVE SDK引(yin)入變(bian)量因果(guo)分析工(gong)具，將用(yong)戶從稠密的數(shu)據和復雜交錯的流程當(dang)中解脫出來，自動進行(xing)結構優化和推薦(jian)，幫助用(yong)戶輕(qing)松構建(jian)模(mo)型和進行(xing)虛(xu)擬(ni)環境的訓練。

更加準確：正如(ru)人(ren)類在做決(jue)策時可以很快認知(zhi)他所面(mian)臨(lin)的(de)環境(jing)(jing)，REVIVE通過(guo)生成、自動識別并自動匹配不(bu)同環境(jing)(jing)和最佳元(yuan)策略(lve)(lve)模型，對(dui)最終的(de)策略(lve)(lve)進行(xing)調優。針對(dui)實際環境(jing)(jing)，選擇出最適宜準確的(de)決(jue)策。

更加靈活：在現實應用中往往會有一些(xie)隱藏變量(liang)，新版REVIVE可以輕(qing)松添(tian)加隱變量(liang)模塊，將缺失值也(ye)納入考量(liang)。同時，新版本也(ye)更容易拆(chai)分出子(zi)模塊進行修改和復(fu)用。

更加可信：REVIVE提供了決策(ce)的樹(shu)狀可視化狀態，用戶可以主(zhu)動和模(mo)型進行交互，看看做了不(bu)同改(gai)變會獲得怎樣不(bu)同的結果，嘗試不(bu)同決策(ce)，預見不(bu)同未來(lai)。

除(chu)了面向通用決策場景的(de)REVIVE SDK，本場發布會(hui)上(shang)最驚艷(yan)的(de)內容，是(shi)面向工業反饋控制(zhi)任務的(de)決策預訓練模(mo)型。

通用反饋控制預訓練模型

反饋(kui)控(kong)制任(ren)務廣泛存在于大量的工業場景中。這類(lei)任(ren)務需要對實施過(guo)程中的每一步(bu)所引起的客(ke)觀效果進行感(gan)知和(he)反饋(kui)，并據此(ci)做出(chu)控(kong)制反應，調整下(xia)一步(bu)的計劃(hua)決策和(he)實施方案(an)，在往復(fu)動態中達到控(kong)制目標(biao)。

不同的場(chang)景之下，工程師們需要根據不同的場(chang)景和環境去調整每一個控制(zhi)參(can)數，達到控制(zhi)效果(guo)。如(ru)果(guo)能夠實(shi)現通用的反饋控制(zhi)系(xi)統(tong)，將為工業應用帶來巨大(da)變革(ge)。

要實現(xian)這項技(ji)術(shu)的(de)關鍵核心在于，對(dui)不同(tong)任(ren)務的(de)自(zi)動識別(bie)(bie)。只有(you)當(dang)它識別(bie)(bie)了當(dang)前的(de)任(ren)務是什么(me)，才能根(gen)據任(ren)務調整控制策略(lve)，以做(zuo)到對(dui)不同(tong)的(de)任(ren)務都做(zuo)出(chu)最優的(de)決策。

針對這個問題，南棲仙策推出了通用反饋控制系統識別器：GFSEncoder。它能夠輸出3維的編碼，來(lai)識別(bie)和表達(da)不同(tong)反饋控制系統的特征和變化。

作為神經網絡對系統(tong)的(de)理解，GFSEncoder編碼的(de)每一維(wei)不會直接(jie)對應到系統(tong)的(de)物(wu)理參數，但是二者依然會存在一定聯系。

南棲仙策還額外發布了GFSEncoder Pro，將參數量提升50%以上。輸出的任務編碼維度從3維提升至8維，具有更強大的(de)任(ren)務識別和編(bian)碼能力。

在發布會上，南棲仙策以滑塊的控制為例，展示了特征編碼是如何隨著物理參數的變化而變化的。B站搜索南棲仙策  可以看到完整的(de)演示過程。

最后還需要強調的是，GFSEncoder并不需要額外測量系統(tong)的各種參數。

GFSEncoder下游應用

（一）系統變動預警

很多系(xi)統在長時間的運行后會發(fa)生老化或者(zhe)損(sun)壞。通過比對GFSEncoder輸出的編碼可(ke)實(shi)時監控(kong)系(xi)統是否出現(xian)變(bian)化，預警系(xi)統失效。

（二）系統標定

GFSEncoder還可(ke)以根據當前系(xi)(xi)統(tong)編碼與標準系(xi)(xi)統(tong)編碼的差異來調整系(xi)(xi)統(tong)的參數，使用戶不需要精密(mi)測量，就可(ke)以將系(xi)(xi)統(tong)向(xiang)標準系(xi)(xi)統(tong)校準。

（三）PID參數預測

在這個應用中，南棲仙策介紹了將要推出的第二個模型，PIDPredictor。

PIDPredictor也是(shi)一個深度神經網絡模型(xing)，能夠基(ji)于GFSEncoder編碼對相應的(de)(de)最優PID參(can)數(shu)進行預測。GFSEncoder與PIDPredictor相結合，可以通過系統中的(de)(de)歷史(shi)軌跡(ji)信息得到最優PID參(can)數(shu)。

在展示當中(zhong)，可(ke)以看出PIDPredictor所預測(ce)的(de)PID參數(shu)的(de)控制效果（右側）會(hui)比待整(zheng)(zheng)定(ding)的(de)PID控制器好很多。B站(zhan)搜索南(nan)棲仙(xian)策(ce)可(ke)以看到完整(zheng)(zheng)的(de)演示過程。

（四）通用反饋任務控制

南棲(qi)仙策還(huan)將PID控(kong)制(zhi)器(qi)用神經(jing)網絡(luo)控(kong)制(zhi)器(qi)替(ti)代，推出(chu)了通用反饋控(kong)制(zhi)器(qi)，GFSController。GFSController是使用強(qiang)化學習訓練得到(dao)的(de)通用控(kong)制(zhi)器(qi)，它(ta)由GFSEncoder與(yu)一個(ge)神經(jing)網絡(luo)控(kong)制(zhi)器(qi)組合而成。

結合GFSEncoder對系統的快速編碼能力，GFSController可以做到部署即運行。

發布會以(yi)平衡車任(ren)務為(wei)例，進行(xing)(xing)了展(zhan)示。在(zai)部署(shu)了GFSEncoder之后，無需進行(xing)(xing)任(ren)何針對(dui)性的調節，GFSController就(jiu)能夠(gou)直(zhi)接將(jiang)平衡車控制(zhi)在(zai)穩定的狀態。

作為(wei)驗證，南棲(qi)(qi)仙策(ce)將GFSController部署至無人機(ji)高度(du)控(kong)制(zhi)任(ren)(ren)務中。作為(wei)對(dui)比，南棲(qi)(qi)仙策(ce)還引入了一個調好(hao)的(de)二階PID完成同樣的(de)任(ren)(ren)務，可(ke)以看出，GFSController與(yu)一個調好(hao)的(de)PID控(kong)制(zhi)器表現(xian)出了相(xiang)當(dang)的(de)水(shui)平。

為(wei)了測試GFSController通用性，發布會(hui)上(shang)，南(nan)棲(qi)仙(xian)策對更多(duo)的(de)衍生場景進行了假設和模擬：如果有(you)一天人類登(deng)陸(lu)火星或(huo)是在高空(kong)飛行，這(zhe)個無人機能(neng)否適應(ying)新的(de)環(huan)境變化？

GFSController很(hen)快(kuai)就完成了對新系(xi)統的識別，其超調已經(jing)明顯降低，然而PID控(kong)制器的超調依然很(hen)嚴重(zhong)，以致(zhi)于最后(hou)無(wu)人(ren)機(ji)撞擊到地面并損毀。B站搜索南棲仙策可以看到完整(zheng)的演(yan)示(shi)過(guo)程。

需要注意的(de)是，這里的(de)PID控(kong)制器是一個二(er)階級(ji)聯(lian)的(de)PID控(kong)制器。而GFSController則(ze)是一階控(kong)制的(de)。事實上，GFSController也能夠通過級(ji)聯(lian)來提升控(kong)制效果(guo)。這意味著GFSController除(chu)了通用性之外，還具有強大的(de)拓展性。

南棲仙策已(yi)經將GFSEncoder的相關(guan)的模型發布到了REVIVE官網。 歡迎大家(jia)下載體驗。

賽事回顧

強(qiang)(qiang)化(hua)學(xue)習創(chuang)新(xin)創(chuang)意大賽(sai)(sai)，旨在(zai)激發強(qiang)(qiang)化(hua)學(xue)習技術的應(ying)用創(chuang)新(xin)，不設具(ju)體賽(sai)(sai)題(ti)。鼓勵(li)選手(shou)了(le)解(jie)強(qiang)(qiang)化(hua)學(xue)習的機制原理、掌握強(qiang)(qiang)化(hua)學(xue)習的任(ren)務(wu)建模、發掘強(qiang)(qiang)化(hua)學(xue)習落地場景、展現強(qiang)(qiang)化(hua)學(xue)習的創(chuang)新(xin)應(ying)用價值。

大賽自6月(yue)17日開賽以來(lai)吸引國內外高等院校、科研單(dan)位(wei)、企業(ye)單(dan)位(wei)負責人(ren)等數百人(ren)參(can)與其中。

大賽經(jing)初賽、復賽兩(liang)輪，4個月的激烈角(jiao)逐之后，最(zui)終經(jing)由學術專家和產業專家共同評選出12支(zhi)獲獎(jiang)(jiang)隊(dui)伍。其中4支(zhi)隊(dui)伍分別(bie)斬獲"最(zui)佳(jia)項目獎(jiang)(jiang)"、"最(zui)佳(jia)實(shi)踐獎(jiang)(jiang)"、"最(zui)佳(jia)創意(yi)獎(jiang)(jiang)"、"最(zui)佳(jia)社會價(jia)值(zhi)獎(jiang)(jiang)"；8支(zhi)隊(dui)伍獲得(de)"優秀(xiu)項目獎(jiang)(jiang)"。

獲獎選手 Talk Time

最佳項目獎：止于至善隊

"基于強化學習，實現分布式能源系統的智能決策未來是可行的。"

"目(mu)前(qian)國內(nei)外的分布式能源(yuan)(yuan)管理(li)(li)平臺，雖(sui)然在數據感知層(ceng)(ceng)大(da)量(liang)使用了人(ren)工智(zhi)能技術，但在決策層(ceng)(ceng)還是(shi)基于傳統的優化(hua)算法。這些(xie)算法受限于計算精度(du)和實時性(xing)不能兼得(de)，而且很難處理(li)(li)新(xin)能源(yuan)(yuan)帶來的波(bo)動性(xing)和隨機性(xing)問(wen)題。而強化(hua)學習可以(yi)處理(li)(li)這些(xie)問(wen)題。"

隊(dui)長侯勝任(ren)來(lai)自荷蘭代爾(er)夫(fu)特(te)理工大(da)(da)學，吳明賀、顏子恒來(lai)自東(dong)南大(da)(da)學。為(wei)應對(dui)全球氣(qi)候(hou)變暖和能源(yuan)(yuan)(yuan)危機，這支隊(dui)伍將強(qiang)化(hua)學習(xi)應用于新能源(yuan)(yuan)(yuan)沖擊(ji)下(xia)的(de)能源(yuan)(yuan)(yuan)管理系統，實現分布式能源(yuan)(yuan)(yuan)系統的(de)智(zhi)能決策，使(shi)能源(yuan)(yuan)(yuan)系統運行(xing)在(zai)高效、經濟(ji)、安(an)全、可(ke)靠(kao)的(de)運行(xing)區間。在(zai)滿足用戶需求的(de)前提下(xia)，大(da)(da)幅(fu)度降低(di)公司系統運行(xing)成本(ben)，為(wei)客戶創造更多的(de)收益。

最佳創意獎：Brain Control隊

"我一直認為強化學習方法會為生命科學領域里的一些問題帶來突破。"

"本次(ci)獲(huo)獎項目是我們團隊將(jiang)強(qiang)化學習(xi)方法應(ying)用大腦疾病(bing)治療的(de)(de)(de)一(yi)次(ci)嘗試，目的(de)(de)(de)是為了(le)更(geng)好(hao)地幫助醫生(sheng)和病(bing)人(ren)選(xuan)擇更(geng)合適的(de)(de)(de)治療策略，這不(bu)僅可以為病(bing)人(ren)帶來(lai)更(geng)優的(de)(de)(de)治療效果，更(geng)可以釋放(fang)大量的(de)(de)(de)醫療資源。"

這是來自復旦大學的兩位博士生，李巖和權昭宇，他們將強化學習應用于自動化腦深部電刺激的參數調節。也就是通過強化學習自動尋找個性化的最優刺激參數，產生最優的疾病治療方案。
這項技術在(zai)未來將有(you)機會在(zai)面向(xiang)帕(pa)金(jin)森、癱瘓、癲癇和抑(yi)郁癥(zheng)等(deng)的(de)疾病治療中發(fa)揮巨大作用。減輕病人的(de)痛苦，減少醫(yi)生的(de)工作量。

最佳社會價值獎：Traffic Go隊

"作為交通從業者，我非常渴望能夠攻堅克難，打造適用于我國的先進城市交通優化控制與緩堵平臺。"

這是(shi)來自同濟大(da)學的博士后王一喆，他對被稱為"交通工程領域王冠上的明珠(zhu)"的世(shi)界性難(nan)題：交通控制和緩(huan)解擁(yong)堵(du) 發起挑戰。

基于(yu)強(qiang)(qiang)(qiang)化學習(xi)的交通(tong)控(kong)制(zhi)算法及機制(zhi)，他通(tong)過構(gou)建可(ke)復用性強(qiang)(qiang)(qiang)，自動化程(cheng)(cheng)度高(gao)的關(guan)鍵特征(zheng)提取程(cheng)(cheng)序；搭建層次分明(ming)，易于(yu)查詢的數據結構(gou)，即(ji)使面對隨機性強(qiang)(qiang)(qiang)，波動性大且呈非線(xian)性變化的復雜城市道路交通(tong)狀(zhuang)況(kuang)，也可(ke)以獲得更高(gao)的可(ke)測性和可(ke)控(kong)制(zhi)性。

最佳實踐獎：穿梭在銀河的火箭隊

"希望能幫助更多人縮減決策時間，讓人們將時間用在有更有價值的地方。"

"通過(guo)本次比賽，我們更(geng)加堅(jian)信了強化學(xue)習在(zai)決策領域巨大的(de)潛力，希望能將學(xue)到的(de)知(zhi)識應用于實踐，同(tong)時幫助大家理解機(ji)器決策過(guo)程中每一步的(de)含義，也(ye)就是為(wei)什(shen)么這樣(yang)做(zuo)，能夠(gou)帶來更(geng)高的(de)收益。"

這支隊伍的(de)陳濤，史晨佳(jia)和(he)任智軍老師來自于上海商(shang)學(xue)院，他們聚(ju)焦個體(ti)投(tou)資(zi)者和(he)機構(gou)，提供完(wan)整高效可行(xing)(xing)的(de)投(tou)資(zi)交易(yi)策(ce)(ce)略(lve)。他們的(de)項目對中國的(de)A股市場(chang)的(de)環境和(he)數據進(jin)行(xing)(xing)建模，將深度強(qiang)化(hua)學(xue)習應用到(dao)金融領域，使用智能體(ti)模擬交易(yi)員，在A股市場(chang)中進(jin)行(xing)(xing)選股和(he)擇(ze)時交易(yi)，讓決(jue)策(ce)(ce)更(geng)優越、更(geng)簡單。

在項目(mu)進行到(dao)中后期，為了(le)節省算(suan)力(li)和時間，他們在REVIVE平臺進行了(le)多(duo)智(zhi)能體(ti)模型的(de)訓練。"不(bu)(bu)得不(bu)(bu)說，「仙啟」的(de)表現真的(de)遠超團隊預期，只需要少量(liang)的(de)代(dai)碼便(bian)可以進行實操，這也極(ji)大(da)的(de)彌補了(le)團隊在多(duo)智(zhi)能體(ti)模型上(shang)編碼能力(li)不(bu)(bu)足的(de)缺陷，早點使用(yong)該(gai)平臺也許項目(mu)進度會快很多(duo)。"

該項目在"東(dong)方財富杯"全國(guo)大學生金融挑(tiao)戰賽 進行了落地驗證(zheng)，以總收益20.93%戰勝(sheng)了全國(guo)98%的選(xuan)手。為(wei)他(ta)們高興！

在實際場景中的落地

南(nan)棲向參賽選手們提供了REVIVE [仙啟](//revive.cn/）在實際場景中(zhong)的落地(di)。

南(nan)棲向參賽(sai)選(xuan)手(shou)們提供了REVIVE「仙(xian)啟」幫(bang)助選(xuan)手(shou)還原(yuan)現實場景，構建無限接近(jin)真實的(de)虛擬環(huan)境(jing)(jing)，在(zai)這(zhe)個環(huan)境(jing)(jing)中(zhong)進(jin)行策(ce)略(lve)驗證(zheng)和對比(bi)，獲得(de)最終可遷移到實際應用(yong)中(zhong)的(de)最佳策(ce)略(lve)。)幫(bang)助選(xuan)手(shou)還原(yuan)現實場景，構建無限接近(jin)真實的(de)虛擬環(huan)境(jing)(jing)，在(zai)這(zhe)個環(huan)境(jing)(jing)中(zhong)進(jin)行策(ce)略(lve)驗證(zheng)和對比(bi)，獲得(de)最終可遷移到實際應用(yong)中(zhong)的(de)最佳策(ce)略(lve)。

此外，感謝張(zhang)偉(wei)楠、安(an)波、張哲先、俞(yu)揚等教授(shou)和老師(shi)，抽出寶貴(gui)時間，為(wei)選手們提供了一對一的指導(dao)和講座(zuo)。

為(wei)了(le)讓更多對(dui)強化學習(xi)應(ying)用感興(xing)趣的人從本(ben)次大(da)賽(sai)中獲(huo)益，主辦方(fang)(fang)在南棲仙策(ce)B站官方(fang)(fang)賬(zhang)號(hao)上(shang)公開了(le)部分講座(zuo)內(nei)容，點擊觀(guan)看講座(zuo)視頻。

大賽還涌現出了一批精彩的應用場景和項目，讓我們一起來看(kan)看(kan)獲獎名單。

誠如張偉(wei)楠老師在講座中所言，強化(hua)(hua)學習(xi)所對標的(de)決策(ce)智能擁有(you)非常廣闊的(de)市場，因為在任何一(yi)(yi)個行業，一(yi)(yi)旦(dan)有(you)決策(ce)優化(hua)(hua)的(de)需求，就有(you)可能使(shi)用到強化(hua)(hua)學習(xi)技術。

讓我們共同期待，在未來，更多的人能夠借助強化學習的力量改變世界。

強(qiang)(qiang)(qiang)化(hua)學(xue)(xue)習(xi)是一種數據驅動的(de)決(jue)策(ce)技術，具有自主學(xue)(xue)習(xi)、高度非線(xian)性(xing)等特性(xing)，可有效應(ying)對工業控制面臨的(de)一系列(lie)難題。南棲仙(xian)策(ce)作為(wei)強(qiang)(qiang)(qiang)化(hua)學(xue)(xue)習(xi)AI智能決(jue)策(ce)應(ying)用的(de)領軍者，將(jiang)強(qiang)(qiang)(qiang)化(hua)學(xue)(xue)習(xi)應(ying)用于工業控制任務，產生了(le)多(duo)個落地案例。南棲仙(xian)策(ce)團隊將(jiang)強(qiang)(qiang)(qiang)化(hua)學(xue)(xue)習(xi)應(ying)用的(de)經(jing)驗總結編寫了(le)《強(qiang)(qiang)(qiang)化(hua)學(xue)(xue)習(xi)控制白(bai)皮書》（以下簡稱為(wei)《白(bai)皮書》，下載鏈接(jie)：），《白(bai)皮書》結合實際案例，對強(qiang)(qiang)(qiang)化(hua)學(xue)(xue)習(xi)在工業控制中(zhong)的(de)應(ying)用過程進行(xing)了(le)介(jie)紹，并(bing)展示了(le)強(qiang)(qiang)(qiang)化(hua)學(xue)(xue)習(xi)帶(dai)來的(de)優勢。

白皮書下載鏈接：

白皮書共分為三個部分

第一部分：概述流程工業生產控制的挑戰

現有(you)的(de)工業(ye)生(sheng)產管理(li)流(liu)程(cheng)，多個環節由人(ren)工把控(kong)，依賴經驗知識(shi)且響應(ying)速(su)度緩慢(man)。過程(cheng)控(kong)制(zhi)基于經典控(kong)制(zhi)算(suan)法(fa)，在大范圍動態條件(jian)復雜系統(tong)的(de)優化控(kong)制(zhi)問題上存(cun)在不(bu)(bu)足。系統(tong)運維(wei)缺乏數據支撐(cheng)，故障(zhang)難預警、風(feng)險不(bu)(bu)可控(kong)，常造成企業(ye)產品(pin)不(bu)(bu)夠(gou)(gou)穩定、生(sheng)產線持續(xu)性不(bu)(bu)夠(gou)(gou)高(gao)、產量波(bo)動的(de)應(ying)對能力不(bu)(bu)足、生(sheng)產損耗(hao)過大成本(ben)難以控(kong)制(zhi)等問題。

第二部分：介紹南棲仙策強化學習工具的優勢

南棲全球領先的(de)數據驅動強化(hua)學(xue)習工(gong)(gong)具(ju)POLIXIR REVIVE提供了數據模擬環境(jing)(jing)和強化(hua)學(xue)習優化(hua)技術，在火(huo)力(li)發電、化(hua)工(gong)(gong)生(sheng)產(chan)、自(zi)(zi)來(lai)水/污水生(sheng)產(chan)處理(li)等多個(ge)工(gong)(gong)業場景(jing)帶來(lai)了不同(tong)的(de)能力(li)，與(yu)MPC（Model Predictive Control）的(de)對比為例，闡(chan)述了在系(xi)(xi)統建模方法、系(xi)(xi)統模擬能力(li)、控(kong)制策略能力(li)上更具(ju)有實施快、成本(ben)低、建模靈活、適(shi)用面(mian)廣、實用性(xing)強等特點(dian)。在實施上，南棲通過(guo)(guo)云端(duan)協(xie)同(tong)架構，實現了POLIXIR REVIVE與(yu)ReinOptima工(gong)(gong)業邊緣(yuan)控(kong)制器(qi)的(de)聯動。通過(guo)(guo)云端(duan)協(xie)同(tong)架構，當ReinOptima的(de)預測性(xing)維護模塊識別出系(xi)(xi)統發生(sheng)偏移(yi)時(shi)，自(zi)(zi)動將歷史(shi)數據傳輸到(dao)REVIVE系(xi)(xi)統更新虛擬環境(jing)(jing)模型和控(kong)制策略，實現對環境(jing)(jing)變化(hua)的(de)自(zi)(zi)動適(shi)應(ying)和持續的(de)自(zi)(zi)我(wo)學(xue)習與(yu)進化(hua)。

第三部分：南棲仙策技術優勢與場景應用案例

《白皮書》通過實(shi)際案(an)例分別(bie)對(dui)能源(yuan)與流程工(gong)業制造"高精度(du)控(kong)制、高穩定控(kong)制、大(da)滯后控(kong)制、全局(ju)目標控(kong)制"四個不同維度(du)的(de)需求進行了(le)詳細解讀。

>>高精度控制

傳統(tong)人(ren)工(gong)控(kong)制增壓泵房的給(gei)水(shui)，經常導致水(shui)量和能耗(hao)過高(gao)或過低。通過POLIXIR REVIVE產生的泵頻控(kong)制策略，可(ke)大大降低出口流量與(yu)目標流量差值，達到系統(tong)所期(qi)望的精準控(kong)制，并與(yu)歷史同時期(qi)千噸水(shui)電耗(hao)相比，節省(sheng)電耗(hao)約 7.16%，有(you)效提高(gao)了泵房的經濟效益。

>>高穩定控制

在(zai)燃煤火電(dian)機組控制(zhi)中，由于外部擾動，導致主蒸汽溫(wen)(wen)度(du)(du)(du)長期不穩定。傳統的PID控制(zhi)存在(zai)嚴重的過(guo)調、延遲等(deng)問題，導致超溫(wen)(wen)、溫(wen)(wen)度(du)(du)(du)過(guo)低(di)等(deng)情(qing)況出(chu)現，影(ying)響發電(dian)效率等(deng)。通過(guo)POLIXIR REVIVE產生的溫(wen)(wen)控策略，可將(jiang)出(chu)口溫(wen)(wen)度(du)(du)(du)有效控制(zhi)在(zai)一定范圍內，并幫助節省燃煤 0.06%，保障穩定的同(tong)時延長了設備的使(shi)用壽(shou)命(ming)。

>>大滯后控制

在(zai)(zai)磨煤機生產過程(cheng)中，由于目(mu)標出(chu)口(kou)煤粉溫(wen)度(du)與(yu)控(kong)(kong)制風(feng)量之間存在(zai)(zai)較長的時間差，整(zheng)體系(xi)統(tong)存在(zai)(zai)滯后(hou)性(xing)、長距(ju)離(li)控(kong)(kong)制等問題(ti)，以及風(feng)速(su)測不準(zhun)導致風(feng)速(su)控(kong)(kong)制器的 PID 控(kong)(kong)制失效。通過POLIXIR REVIVE產生的冷熱一(yi)次(ci)風(feng)擋(dang)板位控(kong)(kong)制策略，可(ke)使出(chu)口(kou)風(feng)粉溫(wen)度(du)分布更貼近目(mu)標溫(wen)度(du)，系(xi)統(tong)運行(xing)工況更加穩(wen)定。

>>全局目標控制

循環水泵(beng)的優化(hua)控制(zhi)(zhi)難(nan)點體現在需全(quan)局考慮整(zheng)鍋爐(lu)運行流程，尋(xun)找最優的耗電-發電平衡點，PID控制(zhi)(zhi)難(nan)以實現，通(tong)過(guo)POLIXIR REVIVE產生(sheng)的循環水泵(beng)控制(zhi)(zhi)策略，可在330MW熱電聯產機(ji)組循環水泵(beng)控制(zhi)(zhi)中，將整(zheng)體指標值降低(di)約(yue)0.53，相較(jiao)于(yu)PID控制(zhi)(zhi)策略，節(jie)能提升3.52%。

南棲仙策《強化學習控制白皮書》全文，可點擊下(xia)方鏈接下(xia)載(zai)：

南棲仙策是強化學習AI智能決策應用的領軍者，在汽車標定業務上。南棲將強化學習技術與汽車標定場景充分融合，摸索并總結出數據驅動的虛擬標定解決方案，旨在高效、高精度、低成本地完成標定業務。南棲仙策汽車交付團隊基于強化學習研發的技術優勢、服務汽車行業客戶的經驗，結合整車轉鼓排放標定、混動標定兩個實際案例，編寫了《汽車虛擬標定白皮書》（以下簡稱為《白皮書》），展示了強化(hua)學習應用技術帶來的AI能力，以及幫助汽車行業客戶提升核心競爭力的潛力。

《白皮書》分為三部分進行闡(chan)述。

第(di)一部分：概述整車標定(ding)概念及車企面對的四大(da)行業難題。

《白(bai)皮書》總結了汽(qi)車行業客戶常面臨的標定(ding)難題(ti)：

1. 標(biao)定(ding)復(fu)雜度高，標(biao)定(ding)參數(shu)多達上千個。人工(gong)聯(lian)合調優(you)難，性能(neng)“將就”。

2. 強烈依賴(lai)經(jing)驗(yan)，需要經(jing)驗(yan)豐富的工程(cheng)師。人員易流失，經(jing)驗(yan)隨(sui)之帶走(zou)。

3. 試驗(yan)成本高(gao)昂，物理實驗(yan)開銷難(nan)降(jiang)低(di)。研發成本難(nan)降(jiang)低(di)，擠壓利潤空(kong)間。

4. 迭(die)代(dai)周期冗長，需多次反復迭(die)代(dai)試錯(cuo)。拖(tuo)延(yan)產品(pin)發(fa)布，耽誤市場時機。

除以上(shang)4點外(wai)，近兩年(nian)受新冠疫情的影(ying)響，標定實(shi)測工作(zuo)常(chang)常(chang)中(zhong)斷，嚴重(zhong)影(ying)響了業(ye)務進展。

第(di)二部分：介紹(shao)南(nan)棲強(qiang)化(hua)學(xue)習(xi)工具的不(bu)同(tong)與優勢

南棲全球領先的(de)數據(ju)驅(qu)動強化(hua)學習(xi)(xi)工具REVIVE提供(gong)的(de)數據(ju)模擬(ni)環境(jing)和強化(hua)學習(xi)(xi)優化(hua)可有助于解(jie)決(jue)車企(qi)面(mian)臨的(de)標定(ding)難(nan)題(ti)。REVIVE是面(mian)向行業(ye)專家的(de)強化(hua)學習(xi)(xi)工具，通過數據(ju)驅(qu)動環境(jing)虛(xu)擬(ni)技術，進行大量(liang)虛(xu)擬(ni)推演與試錯，尋找(zhao)最優方(fang)案。

REVIVE基于汽車標定數據模擬環境的強化學習解決方案過程：

REVIVE方(fang)案主要分為四步：首先在(zai)人工標(biao)(biao)定(ding)參(can)(can)數(shu)的(de)實(shi)車驗證實(shi)驗中(zhong)收集對(dui)應的(de)性能狀態秒采數(shu)據(ju)(ju)并進行(xing)簡單的(de)數(shu)據(ju)(ju)整理；然后根(gen)據(ju)(ju)汽(qi)車控制基礎邏(luo)輯(ji)構建業務模(mo)型(xing)，導入數(shu)據(ju)(ju)，使(shi)用REVIVE系(xi)統中(zhong)的(de)環(huan)(huan)境(jing)模(mo)型(xing)訓(xun)練(lian)功能，訓(xun)練(lian)控制邏(luo)輯(ji)圖中(zhong)所有的(de)神經網絡模(mo)塊，得到可運行(xing)的(de)“數(shu)據(ju)(ju)仿真車”，并使(shi)用可視化評估(gu)指標(biao)(biao)驗證虛擬(ni)(ni)環(huan)(huan)境(jing)與真實(shi)環(huan)(huan)境(jing)的(de)一(yi)致性；再(zai)使(shi)用REVIVE系(xi)統中(zhong)的(de)策(ce)略模(mo)型(xing)訓(xun)練(lian)功能，得到優(you)化后的(de)標(biao)(biao)定(ding)參(can)(can)數(shu)；最后將優(you)化后的(de)標(biao)(biao)定(ding)參(can)(can)數(shu)在(zai)虛擬(ni)(ni)環(huan)(huan)境(jing)中(zhong)驗證，評估(gu)有效則上載到汽(qi)車進行(xing)實(shi)車驗證。

第(di)三部分：結合發動機(ji)整車排放標定(ding)、混動標定(ding)兩(liang)個案例(li)，介紹(shao)REVIVE成功應用方案。

《白皮書》實例(li)證明(ming)，南(nan)棲獨特的AI虛擬標定技術可顯著降(jiang)(jiang)低汽車尾氣排(pai)放值。與人類工程師相比(bi)，THC降(jiang)(jiang)低了(le)51%，CO降(jiang)(jiang)低了(le)29%，NOx降(jiang)(jiang)低了(le)18%，優于國六排(pai)放標準，并為后續車輛設計環節提供了(le)充(chong)足(zu)的排(pai)放余量。

在(zai)串并(bing)聯混動系統標定(ding)任務上同樣成(cheng)功。在(zai)起點(dian)—終(zhong)點(dian)電量相(xiang)同的(de)約(yue)束(shu)下，能優(you)化得(de)(de)到更合理的(de)利(li)(li)用電池電量容量、更高(gao)效(xiao)的(de)利(li)(li)用發動機最優(you)工(gong)況特性的(de)混動策略(lve)，使(shi)得(de)(de)整(zheng)車在(zai)WLTC實(shi)驗(yan)中取得(de)(de)更低(di)的(de)油耗(hao)。

南棲仙策《汽車虛擬標定白皮書》全文下載鏈接如下：