雙容水箱液位智能控制實(shí)訓(xùn)裝置探究

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了雙容水箱液位智能控制實(shí)訓(xùn)裝置探究范文，希望能給你帶來靈感和參考，敬請閱讀。

摘要:基于工科專業(yè)控制類課程教學(xué)改革需要,設(shè)計(jì)一種雙容水箱液位控制實(shí)訓(xùn)裝置,該裝置采用模塊化思想,具有組合方便、實(shí)訓(xùn)項(xiàng)目設(shè)計(jì)靈活等特點(diǎn).同時(shí),從物理機(jī)理出發(fā),推導(dǎo)該裝置的數(shù)學(xué)模型;隨后基于強(qiáng)化學(xué)習(xí)方法,提出一種智能液位控制算法,并通過仿真分析驗(yàn)證算法的可行性和優(yōu)越性.

關(guān)鍵詞:液位控制;強(qiáng)化學(xué)習(xí);課程實(shí)訓(xùn)

液位控制是工業(yè)領(lǐng)域最常見的過程控制問題,例如在飲料食品、化工生產(chǎn)、核電站等各種行業(yè)的生產(chǎn)加工過程中都需要對反應(yīng)容器液位進(jìn)行適當(dāng)控制,而工業(yè)生產(chǎn)過程往往是繁雜的,控制變量具有多階性、非線性、強(qiáng)耦合等特點(diǎn)[1-3].因此,為了貼近生產(chǎn)實(shí)踐,本科及研究生控制類課程往往將液位控制問題作為典型案例引入課堂.本文在調(diào)研了飲料、食品加工、化工生產(chǎn)等多種行業(yè)生產(chǎn)過程中液位控制的基礎(chǔ)上,進(jìn)行合理簡化,設(shè)計(jì)了一套適用于本科、研究生控制類課程教學(xué)的液位控制實(shí)訓(xùn)裝置.該裝置采用模塊化設(shè)計(jì),具有配置靈活、操作方便等優(yōu)點(diǎn),可為《自動(dòng)控制原理》《過程控制》《PLC控制》《線性控制理論》和《智能控制》等本科及研究生課程的教學(xué)及實(shí)訓(xùn)服務(wù).同時(shí)針對提出的裝置,采用機(jī)理分析法得出裝置數(shù)學(xué)模型.

1雙容水箱液位控制實(shí)訓(xùn)裝置及實(shí)驗(yàn)項(xiàng)目設(shè)計(jì)

1.1雙容水箱液位控制實(shí)訓(xùn)裝置

雙容水箱液位控制實(shí)訓(xùn)裝置硬件結(jié)構(gòu)如圖1所示,主要由2個(gè)柱形水箱,1個(gè)蓄水箱,2個(gè)進(jìn)水控制閥,1個(gè)連通閥和2個(gè)儲(chǔ)水調(diào)節(jié)閥組成.控制系統(tǒng)通過液位傳感圖1雙容水箱液位控制實(shí)訓(xùn)裝置結(jié)構(gòu)示意圖器采集水箱液位信息,經(jīng)過一定控制算法,向電磁閥發(fā)出一定電壓信號(hào),調(diào)節(jié)閥門開度,從而調(diào)節(jié)管道流量.控制系統(tǒng)可以用單片機(jī)、PLC和上位機(jī)等方式實(shí)現(xiàn),以滿足多課程實(shí)訓(xùn)的需要.

1.2實(shí)驗(yàn)項(xiàng)目設(shè)計(jì)舉例

該實(shí)訓(xùn)裝置具有很強(qiáng)的靈活性,可以調(diào)整各閥門的通斷與否、控制與否等配置出多種實(shí)驗(yàn)項(xiàng)目,以模擬出各種實(shí)際生產(chǎn)過程中場景.本文略舉幾個(gè)例子如下.例1出水隨機(jī)的單容水箱灌裝系統(tǒng)對某些特殊液體的灌裝,要求貯液缸內(nèi)存在等壓的氣相區(qū)和液相區(qū),貯液缸內(nèi)液位的變化會(huì)直接影響到機(jī)器的正常運(yùn)轉(zhuǎn)和機(jī)器的生產(chǎn)能力,以至影響產(chǎn)品的質(zhì)量和產(chǎn)量,譬如啤酒灌裝機(jī).這些場景的實(shí)際問題都可看作是出水隨機(jī)的單容水箱灌裝系統(tǒng)液位控制問題.該系統(tǒng)可由雙容水箱實(shí)訓(xùn)裝置的1個(gè)水箱,1個(gè)液位傳感器,1個(gè)出水閥門,1個(gè)入水閥門以及控制系統(tǒng)組成.被控量是液位,控制量是進(jìn)水閥門的開度.控制器根據(jù)液位傳感器檢測的液位信號(hào)與設(shè)定值之間的偏差發(fā)出電壓信號(hào),調(diào)節(jié)進(jìn)水閥門的開度,從而調(diào)整水箱入水量,使得液位保持在設(shè)定值,同時(shí)控制器可以向出水閥門發(fā)出一定的電壓信號(hào),模擬隨機(jī)出水干擾.實(shí)驗(yàn)內(nèi)容是設(shè)計(jì)合適的控制器,在出水存在干擾的情況下,調(diào)節(jié)入水流量,使得液位維持在1個(gè)設(shè)定值.同理,我們調(diào)換上述系統(tǒng)出水閥和進(jìn)水閥的角色,很容易改造成隨機(jī)進(jìn)水的單容液位控制裝置.例2單一進(jìn)水的雙容水箱排液系統(tǒng)在實(shí)際排液系統(tǒng)中,當(dāng)在用水流量比較大的情況下,為了平抑液位的過快變化,系統(tǒng)往往需要再添加1個(gè)儲(chǔ)水箱,這些場景的實(shí)際問題都可看作是單一進(jìn)水的雙容水箱排液系統(tǒng)液位控制問題.該系統(tǒng)可由雙容水箱實(shí)訓(xùn)裝置的2個(gè)水箱,2個(gè)液位傳感器,1個(gè)出水閥門,1個(gè)入水閥門,1個(gè)連通閥門以及控制系統(tǒng)組成.被控量是2個(gè)液位,控制量是進(jìn)水閥門S1的開度和連通閥門S3的開度.控制器根據(jù)液位傳感器檢測的液位信號(hào)與2個(gè)液位設(shè)定值之間的偏差發(fā)出電壓信號(hào),調(diào)節(jié)進(jìn)水閥門S1的開度和連通閥門S3的開度,從而調(diào)整水箱入水量和2個(gè)水箱之間的流通量,使得液位保持在設(shè)定值,同時(shí)控制器可以向出水閥門發(fā)出一定的電壓信號(hào),模擬隨機(jī)出水干擾.

2水箱液位控制實(shí)訓(xùn)裝置數(shù)學(xué)模型

2.1單容水箱控制實(shí)訓(xùn)裝置數(shù)學(xué)模型

為了更好理解雙容水箱液位控制裝置模型,先討論單容水箱液位控制裝置的物理機(jī)理,其結(jié)構(gòu)如圖2所示.Qi是進(jìn)水流量,Qo是出水流量,h是液位高度,為被控變量,其變化與Qi和Qo有關(guān).根據(jù)流量平衡原理可得:Adhdt=Qi-Qo(1)式中A是水箱截面積.ΔQi是進(jìn)水閥門S1的開度u引起的,當(dāng)閥門前后無壓力差時(shí),可得:ΔQi=KuΔu(2)其中Ku是閥門的流量系數(shù).ΔQo是出水閥門S2的開度引起的,但當(dāng)閥門前后存在壓力差時(shí),根據(jù)流體力學(xué)中的伯努利方程,可得:Δν22+gΔz+Δpρ+hf=0(3)式中△ν2是入水截面1水流速度νin的平方與出水截面2水流速度νout的平方之差,△z是入水截面1與出水截面2之間的高度差,△p是入水截面1與出水截面2之間的壓力差,hf=ξν2out2f表示水頭的損失.在這里由于入水截面面積遠(yuǎn)遠(yuǎn)大于出水截面面積,νin可被忽略.則整理可得:νout=kh.因此出水流量可表示為:QO=αUh(4)其中U表示施加在出水閥門上的電壓,α是閥門節(jié)流系數(shù),在閥門的線性區(qū)域,是一個(gè)常系數(shù).將(4)代入(1)可得單容水箱液位控制裝置的數(shù)學(xué)模型為:Adhdt=Qi-αUh(5)

2.2雙容水箱控制實(shí)訓(xùn)裝置數(shù)學(xué)模型

以圖1為例,討論雙容水箱控制實(shí)訓(xùn)裝置實(shí)訓(xùn)模型.參照上述單容水箱的分析,應(yīng)用伯努利方程和動(dòng)量守恒定理,可推導(dǎo)出連通閥門的流量與兩側(cè)水箱間的高度差的平方根成正比,即:Q12=α3U3h1-h2(若選取2個(gè)水箱的液位高度h1和h2為狀態(tài)變量,2個(gè)水箱的進(jìn)水流量Qi1和Qi2為輸入量,其受施加在進(jìn)水閥門上電壓的線性控制,因此實(shí)際的控制量是電壓.假設(shè)閥門S3,S4和S5開度固定,因此可推導(dǎo)出雙容水箱控制實(shí)訓(xùn)裝置數(shù)學(xué)模型為[4]:

3基于強(qiáng)化學(xué)習(xí)的智能控制算法研究

強(qiáng)化學(xué)習(xí)是在與環(huán)境的互動(dòng)中為了達(dá)成一個(gè)目標(biāo)而進(jìn)行的學(xué)習(xí)過程,包括智能體(Agent)、環(huán)境(Envi-ronment)和目標(biāo)(Goal)3個(gè)基本元素.強(qiáng)化學(xué)習(xí)的學(xué)習(xí)過程是處在某一初始狀態(tài)S0的智能體為了達(dá)到目標(biāo),采取一序列行動(dòng)(Action),與環(huán)境互動(dòng)后可獲得與當(dāng)前狀態(tài)和所采取的行動(dòng)有關(guān)的獎(jiǎng)勵(lì)(Reward)并折現(xiàn)累加,同時(shí)智能體轉(zhuǎn)移到新的狀態(tài)S1,如此進(jìn)行下去,直至達(dá)到目標(biāo)狀態(tài).從同一初始狀態(tài)出發(fā),可能有若干條行動(dòng)系列路徑可達(dá)到目標(biāo)狀態(tài),強(qiáng)化學(xué)習(xí)的目的是通過不斷“試錯(cuò)”,找到累加獎(jiǎng)勵(lì)最大的行動(dòng)序列,稱之為最優(yōu)策略[5].因此,強(qiáng)化學(xué)習(xí)算法主要是解決序列決策過程中的最優(yōu)策略選擇問題.尋找最優(yōu)策略的過程就是一個(gè)馬爾可夫決策過程(MarkovDecisionProcesses,MDPs),其可表示為:M=<S,A,Ps's,a,R,γ>,其中S表示有限狀態(tài)集合,A代表可執(zhí)行行動(dòng)集合,Ps's,a表示從s采取行動(dòng)a轉(zhuǎn)移到s'的概率,R表示采取某個(gè)動(dòng)作后的即時(shí)獎(jiǎng)勵(lì),γ表示折現(xiàn)系數(shù).為了實(shí)現(xiàn)基于強(qiáng)化學(xué)習(xí)的智能控制算法,首先采用離散化方法,定義了一個(gè)雙容水箱液位系統(tǒng)的馬爾可夫決策過程M=<H,Q,Php,γ,R>,H=h1(m)h2(n)[]T:1⩽m⩽N1,1⩽n⩽N{2}表示以2水箱液位高度h1,h2為狀態(tài)變量構(gòu)成的狀態(tài)空間,連續(xù)的高度變量h1,h2分別被離散成N1和N2個(gè)等級(jí),因此狀態(tài)空間的狀態(tài)個(gè)數(shù)為N1×N2;Q=q1(m)q2(n)[]T:1⩽m⩽M1,1⩽n⩽M{2}表示以2水箱的進(jìn)水流速離散化后構(gòu)成的可執(zhí)行行動(dòng)空間,可執(zhí)行行動(dòng)個(gè)數(shù)為M1×M2;Php表示狀態(tài)轉(zhuǎn)移方程,可由式(7)離散化得到,其作用是根據(jù)當(dāng)前狀態(tài)Hi和當(dāng)前所采取的行動(dòng)a確定下一個(gè)狀態(tài)Hi+1;γ表示折現(xiàn)系數(shù),取0~1之間的某一常數(shù);R(H)表示當(dāng)前狀態(tài)反饋的獎(jiǎng)勵(lì),本文獎(jiǎng)勵(lì)函數(shù)選擇為:R(H)=-CHd-H(8)其中:Hd表示期望的目標(biāo)狀態(tài);H表示當(dāng)前狀態(tài);C為一個(gè)大于0的實(shí)數(shù).定義了MDPs后,假設(shè)系統(tǒng)從某一初始狀態(tài)H(0)=h1(0)h2[(0)]T開始,控制執(zhí)行了一行動(dòng)序列Qi(0),Qi(1),Qi(2)……,即所謂的策略π,使系統(tǒng)經(jīng)過一序列狀態(tài)轉(zhuǎn)移H(0),H(1),H(2)……,直至達(dá)到期望目標(biāo)狀態(tài)Hd,在此過程中,我們定義獲得總回報(bào)的期望為價(jià)值函數(shù):Vπ(H)=E[R(H(0))+γR(H(1))+γ2R(H(2))+…H(0)=H,π](9)強(qiáng)化學(xué)習(xí)的目的是利用Bellman方程找到狀態(tài)空間中每個(gè)狀態(tài)對應(yīng)的最優(yōu)價(jià)值函數(shù):V*(H)=maxπVπ(H)=R(H)+maxγπV*(H')(10)然后,根據(jù)最優(yōu)價(jià)值函數(shù)確定最優(yōu)策略,即使價(jià)值最大化所采取的策略,定義為:π*(H)=argmaxq∈QV*(H')(11)在強(qiáng)化學(xué)習(xí)中,為了找到最優(yōu)價(jià)值函數(shù)和最優(yōu)策略,有值迭代(Valueiteration)和策略迭代(Policyiteration)2種方法.在隨后的控制過程中,控制器根據(jù)當(dāng)前狀態(tài)及最優(yōu)策略決定發(fā)出的控制指令,從而實(shí)現(xiàn)最優(yōu)控制[6].

4仿真分析

為了驗(yàn)證本文提出的基于強(qiáng)化學(xué)習(xí)智能控制算法的可行性和優(yōu)越性,搭建了一個(gè)式(7)表示的雙容水箱液位系統(tǒng).假設(shè)水箱的最高液位為10m,水箱1的進(jìn)水最大流速為20m3/s,水箱2的進(jìn)水閥門關(guān)閉,不參與液位調(diào)節(jié).選取式(8)為獎(jiǎng)勵(lì)函數(shù),其中C取100.將高度變量和流速變量離散化(N1=20,N2=20,M1=30),因此對馬爾可夫決策過程來說,有400個(gè)狀態(tài)和30個(gè)可執(zhí)行行動(dòng).最后在matlab平臺(tái)上編寫M文件24贛南師范大學(xué)學(xué)報(bào)2022年最優(yōu)價(jià)值函數(shù)和最優(yōu)策略的搜尋,并利用最優(yōu)策略調(diào)節(jié)液位高度.圖3強(qiáng)化圖3所示為以Hd=[73]T為期望目標(biāo)狀態(tài)的強(qiáng)化學(xué)習(xí)結(jié)果,圖3(a)表示各個(gè)狀態(tài)對應(yīng)的最優(yōu)價(jià)值函數(shù),圖3(b)表示各個(gè)狀態(tài)對應(yīng)的最優(yōu)策略.圖4所示為基于強(qiáng)化學(xué)習(xí)智能算法控制器作用下的狀態(tài)響應(yīng)過程.由圖可知:系統(tǒng)狀態(tài)(液位高度)能快速到達(dá)期望值,且過沖很小,無明顯振蕩過程.但存在一定靜差,這是離散化固有的量化誤差造成的,可以通過采用更精細(xì)的量化來降低,但會(huì)大大增加強(qiáng)化學(xué)習(xí)過程的運(yùn)算量,有文獻(xiàn)提出對強(qiáng)化結(jié)果進(jìn)一步使用神經(jīng)網(wǎng)絡(luò)訓(xùn)練來降低量化誤差.

5結(jié)語

大多數(shù)工業(yè)過程都具有固有的非線性,經(jīng)典控制策略使用線性化模型進(jìn)行控制器設(shè)計(jì),所以其在最優(yōu)控制方面并不有效.本文提出一種基于強(qiáng)化學(xué)習(xí)的控制策略,用于控制非線性相互作用的液位系統(tǒng).該策略充分考慮系統(tǒng)的非線性特性,利用強(qiáng)化學(xué)習(xí)方法的最優(yōu)決策能力,可以通過設(shè)定不同的控制目標(biāo),實(shí)現(xiàn)不同方面的最優(yōu)控制.仿真表明:該策略可以獲得較好的控制效果,其振蕩和超調(diào)都很小.

作者:賴小華 單位:贛南師范大學(xué)物理與電子信息學(xué)院