團隊介紹李濤，電子科技大學，碩士研究生，研究方向為可再生能源智能調度和電力系統分析、運行與控制，作為學生核心成員參與國家重點研發計劃項目“分布式光伏與梯級小水電互補聯合發電技術研究及應用示范”。胡維昊，電子科技大學教授、博士生導師、“智慧電力與能源研究所”所長，國家海外高層次人才青年項目。主要從事人工智能在現代電力系統中的應用和可再生能源發電等研究。主持由國家重點研發計劃和國家自然科學基金等資助的縱向課題5項，作為課題負責人和核心成員參與由國家重點研發計劃、丹麥國家戰略研究基金、歐盟地平線2020戰略規劃基金和中丹可再生能源合作基金等資助的國家級縱向課題15項，發表論文170余篇。擔任IET Renewable Power Generation副編輯、Journal of Modern Power System and Clean Energy?？汀峨姽ぜ夹g學報》?？丶s主編、IEEE Transactions on Power Systems?？妥庉嫷龋蝸喼弈茉磁c電氣工程研討會IEEE AEEES 2020大會主席、亞洲智能電網國際會議IEEE ISGT Asia 2019程序委員會主席、IEEE電力電子學會成都分會主席、中國電工技術學會人工智能與電氣應用專委會副秘書長等學術職務。獲中國儀器儀表學會科學技術一等獎1項，教育部科技進步二等獎1項。李堅，電子科技大學副教授、博士生導師，主要從事電力系統廣域測量與控制、智能控制與信息化技術、電力大數據等方面的研究。承擔國家級項目5項、省部級項目6項、申請發明專利40余項，國際專利2項；發表論文50余篇，其中SCI論文20余篇，獲中國儀器儀表學會科技一等獎1項，教育部科技進步二等獎1項，四川省科技進步二等獎1項。導語作者以光伏-抽水蓄能互補發電系統為研究對象，考慮光伏發電與實時電價的不確定性，以100%消納光伏為前提，構建考慮并網點功率波動和抽水蓄能經濟效益的模型。針對抽水蓄能出力連續可調的特點，將智能調度問題轉換為馬爾可夫決策過程；利用深度強化學習算法，以光伏并網后聯絡線功率波動最小化和抽水蓄能電站在實時電價模式下收益最大化為目標，得出抽水蓄能的最佳運行工況。項目研究背景由于光伏發電受氣象因素影響，具有較強的間歇性和隨機性，這些特性使得高滲透率并網光伏發電給電力系統的穩定性與經濟性帶來了巨大的挑戰，并且嚴重制約了光伏的100%消納。采用新能源互補發電技術是全額消納新能源的有效途徑，即在最大功率跟蹤模式下，利用儲能設備及時有效地提供功率支撐來抑制并網點功率波動；然而針對非凸、非線性的光-蓄優化模型，基于隨機優化和魯棒優化策略的性能與源/荷預測精度強相關，且難以準確表征光-蓄系統的不確定性和難以在線應用。本文基于深度強化學習算法的光伏-抽蓄互補系統智能調度，在離線訓練過程中實現了深度神經網絡對光伏隨機出力以及電價變化特征的提??；在線應用時，不需要預測光伏出力與電價趨勢，減少光-蓄電站的運行成本。論文方法及創新點為實現光伏-抽蓄互補發電系統的最優在線經濟調度，論文研究了多重不確定性下基于馬爾可夫決策過程的光伏-抽蓄在線智能調度，探討了多約束優化問題向無約束強化學習任務轉換的方法，驗證了人工智能技術實現大規模新能源互補發電在線調度的可行性。光伏-抽蓄互補發電運行示意圖如圖1所示。圖 1 光伏-抽蓄互補發電運行示意圖本文首先建立了考慮抽蓄經濟收益和并網功率波動的優化運行模型；然后，將含約束的非線性優化問題轉化為適用于深度強化學習的無約束馬爾科夫決策模型；最后，采用深度確定性梯度策略算法(Deep Deterministic Policy Gradient, DDPG)求解并得到光伏-抽蓄在線智能調度策略。DDPG優化算法結構如圖2所示。每回合平均獎勵曲線如圖3所示。圖 2 優化算法結構圖 3 每回合平均獎勵曲線為驗證所得策略的性能，在測試集上進行連續7天實時運行測試，其抑制功率波動、跟隨實時電價和應對約束的能力如圖4所示。圖 4 測試的性能為分析本文所提方法的優勢，考慮光伏的不同預測精度，采用了序列二次規劃(Sequential Quadratic Programming, SQP)和基于拉丁超立方的場景分析法(Scenario Analysis, SA)與之對比，見表1。表1 不同預測精度下算法對比結果結論針對對光伏-抽蓄互補發電系統，從并網點功率波動和抽水蓄能的經濟收益等角度出發，采用DDPG算法，研究了多重不確定性條件下光-蓄互補發電的實時經濟調度問題。研究表明：1）DDPG算法在控制抽蓄緩解功率波動和跟隨電價方面能取得較佳的效果；2）當光伏的預測誤差大于10%時， DDPG智能體在實現光-蓄互補系統調度策略時，無論是在抑制并網波動率還是提升抽蓄的經濟收益方面均具有絕對優勢。引用本文李濤, 胡維昊, 李堅, 韓曉言, 陳哲. 基于深度強化學習算法的光伏-抽蓄互補系統智能調度[J]. 電工技術學報, 2020, 35(13): 2757-2768. Li Tao, Hu Weihao, Li Jian, Han Xiaoyan, Chen Zhe. Intelligent Economic Dispatch for PV-PHS Integrated System: a Deep Reinforcement Learning-Based Approach. Transactions of China Electrotechnical Society, 2020, 35(13): 2757-2768.
團隊介紹李濤，電子科技大學，碩士研究生，研究方向為可再生能源智能調度和電力系統分析、運行與控制，作為學生核心成員參與國家重點研發計劃項目“分布式光伏與梯級小水電互補聯合發電技術研究及應用示范”。胡維昊，電子科技大學教授、博士生導師、“智慧電力與能源研究所”所長，國家海外高層次人才青年項目。主要從事人工智能在現代電力系統中的應用和可再生能源發電等研究。主持由國家重點研發計劃和國家自然科學基金等資助的縱向課題5項，作為課題負責人和核心成員參與由國家重點研發計劃、丹麥國家戰略研究基金、歐盟地平線2020戰略規劃基金和中丹可再生能源合作基金等資助的國家級縱向課題15項，發表論文170余篇。擔任IET Renewable Power Generation副編輯、Journal of Modern Power System and Clean Energy?？汀峨姽ぜ夹g學報》?？丶s主編、IEEE Transactions on Power Systems?？妥庉嫷龋蝸喼弈茉磁c電氣工程研討會IEEE AEEES 2020大會主席、亞洲智能電網國際會議IEEE ISGT Asia 2019程序委員會主席、IEEE電力電子學會成都分會主席、中國電工技術學會人工智能與電氣應用專委會副秘書長等學術職務。獲中國儀器儀表學會科學技術一等獎1項，教育部科技進步二等獎1項。李堅，電子科技大學副教授、博士生導師，主要從事電力系統廣域測量與控制、智能控制與信息化技術、電力大數據等方面的研究。承擔國家級項目5項、省部級項目6項、申請發明專利40余項，國際專利2項；發表論文50余篇，其中SCI論文20余篇，獲中國儀器儀表學會科技一等獎1項，教育部科技進步二等獎1項，四川省科技進步二等獎1項。
胡維昊，電子科技大學教授、博士生導師、“智慧電力與能源研究所”所長，國家海外高層次人才青年項目。主要從事人工智能在現代電力系統中的應用和可再生能源發電等研究。主持由國家重點研發計劃和國家自然科學基金等資助的縱向課題5項，作為課題負責人和核心成員參與由國家重點研發計劃、丹麥國家戰略研究基金、歐盟地平線2020戰略規劃基金和中丹可再生能源合作基金等資助的國家級縱向課題15項，發表論文170余篇。擔任IET Renewable Power Generation副編輯、Journal of Modern Power System and Clean Energy?？汀峨姽ぜ夹g學報》?？丶s主編、IEEE Transactions on Power Systems?？妥庉嫷龋蝸喼弈茉磁c電氣工程研討會IEEE AEEES 2020大會主席、亞洲智能電網國際會議IEEE ISGT Asia 2019程序委員會主席、IEEE電力電子學會成都分會主席、中國電工技術學會人工智能與電氣應用專委會副秘書長等學術職務。獲中國儀器儀表學會科學技術一等獎1項，教育部科技進步二等獎1項。
李堅，電子科技大學副教授、博士生導師，主要從事電力系統廣域測量與控制、智能控制與信息化技術、電力大數據等方面的研究。承擔國家級項目5項、省部級項目6項、申請發明專利40余項，國際專利2項；發表論文50余篇，其中SCI論文20余篇，獲中國儀器儀表學會科技一等獎1項，教育部科技進步二等獎1項，四川省科技進步二等獎1項。
導語作者以光伏-抽水蓄能互補發電系統為研究對象，考慮光伏發電與實時電價的不確定性，以100%消納光伏為前提，構建考慮并網點功率波動和抽水蓄能經濟效益的模型。針對抽水蓄能出力連續可調的特點，將智能調度問題轉換為馬爾可夫決策過程；利用深度強化學習算法，以光伏并網后聯絡線功率波動最小化和抽水蓄能電站在實時電價模式下收益最大化為目標，得出抽水蓄能的最佳運行工況。
項目研究背景由于光伏發電受氣象因素影響，具有較強的間歇性和隨機性，這些特性使得高滲透率并網光伏發電給電力系統的穩定性與經濟性帶來了巨大的挑戰，并且嚴重制約了光伏的100%消納。采用新能源互補發電技術是全額消納新能源的有效途徑，即在最大功率跟蹤模式下，利用儲能設備及時有效地提供功率支撐來抑制并網點功率波動；然而針對非凸、非線性的光-蓄優化模型，基于隨機優化和魯棒優化策略的性能與源/荷預測精度強相關，且難以準確表征光-蓄系統的不確定性和難以在線應用。本文基于深度強化學習算法的光伏-抽蓄互補系統智能調度，在離線訓練過程中實現了深度神經網絡對光伏隨機出力以及電價變化特征的提??；在線應用時，不需要預測光伏出力與電價趨勢，減少光-蓄電站的運行成本。
論文方法及創新點為實現光伏-抽蓄互補發電系統的最優在線經濟調度，論文研究了多重不確定性下基于馬爾可夫決策過程的光伏-抽蓄在線智能調度，探討了多約束優化問題向無約束強化學習任務轉換的方法，驗證了人工智能技術實現大規模新能源互補發電在線調度的可行性。光伏-抽蓄互補發電運行示意圖如圖1所示。圖 1 光伏-抽蓄互補發電運行示意圖本文首先建立了考慮抽蓄經濟收益和并網功率波動的優化運行模型；然后，將含約束的非線性優化問題轉化為適用于深度強化學習的無約束馬爾科夫決策模型；最后，采用深度確定性梯度策略算法(Deep Deterministic Policy Gradient, DDPG)求解并得到光伏-抽蓄在線智能調度策略。DDPG優化算法結構如圖2所示。每回合平均獎勵曲線如圖3所示。圖 2 優化算法結構圖 3 每回合平均獎勵曲線為驗證所得策略的性能，在測試集上進行連續7天實時運行測試，其抑制功率波動、跟隨實時電價和應對約束的能力如圖4所示。圖 4 測試的性能為分析本文所提方法的優勢，考慮光伏的不同預測精度，采用了序列二次規劃(Sequential Quadratic Programming, SQP)和基于拉丁超立方的場景分析法(Scenario Analysis, SA)與之對比，見表1。表1 不同預測精度下算法對比結果
結論針對對光伏-抽蓄互補發電系統，從并網點功率波動和抽水蓄能的經濟收益等角度出發，采用DDPG算法，研究了多重不確定性條件下光-蓄互補發電的實時經濟調度問題。研究表明：1）DDPG算法在控制抽蓄緩解功率波動和跟隨電價方面能取得較佳的效果；2）當光伏的預測誤差大于10%時， DDPG智能體在實現光-蓄互補系統調度策略時，無論是在抑制并網波動率還是提升抽蓄的經濟收益方面均具有絕對優勢。
引用本文李濤, 胡維昊, 李堅, 韓曉言, 陳哲. 基于深度強化學習算法的光伏-抽蓄互補系統智能調度[J]. 電工技術學報, 2020, 35(13): 2757-2768. Li Tao, Hu Weihao, Li Jian, Han Xiaoyan, Chen Zhe. Intelligent Economic Dispatch for PV-PHS Integrated System: a Deep Reinforcement Learning-Based Approach. Transactions of China Electrotechnical Society, 2020, 35(13): 2757-2768.
