,,,,
(許繼電氣,許昌 461000)
Nucleus為搶先式多任務(wù)操作系統(tǒng),Nucleus PLUS為其系統(tǒng)內(nèi)核,具有可移植性、易用性、可配置性等特點(diǎn)。Nucleus PLUS提供一系列系統(tǒng)服務(wù),比如:任務(wù)控制、任務(wù)通信、任務(wù)同步、內(nèi)存管理、可編程的定時(shí)器、標(biāo)準(zhǔn)的輸入/輸出設(shè)備接口等。
Nucleus PLUS內(nèi)存管理沒有使用虛擬內(nèi)存技術(shù),采用的是實(shí)存儲(chǔ)器管理技術(shù):對內(nèi)存地址的訪問不需要經(jīng)過MMU,直接送到地址線上輸出,程序中訪問的地址都是實(shí)際的物理地址[1]。這種內(nèi)存管理策略雖然降低了系統(tǒng)的安全性,但是內(nèi)存分配快速、高效,避免了虛存系統(tǒng)中地址轉(zhuǎn)換及非常耗時(shí)的磁盤I/O操作,是許多嵌入式設(shè)備的選擇。
Nucleus PLUS提供兩種內(nèi)存管理方式,一種是分區(qū)內(nèi)存管理(Partition Memory Pools),另一種是動(dòng)態(tài)內(nèi)存管理(Dynamic Memory Pools)[2]。本文針對某版本Nucleus PLUS,詳細(xì)研究了其動(dòng)態(tài)內(nèi)存管理機(jī)制及實(shí)現(xiàn)細(xì)節(jié),介紹了其測試思路和測試用例設(shè)計(jì),最后對Nucleus PLUS動(dòng)態(tài)內(nèi)存管理機(jī)制進(jìn)行評價(jià),并針對該機(jī)制存在的內(nèi)存訪問越界時(shí)保存在內(nèi)存頭的內(nèi)存管理信息被破壞,進(jìn)而導(dǎo)致動(dòng)態(tài)內(nèi)存管理機(jī)制系統(tǒng)性失效的缺點(diǎn),提出了改進(jìn)建議及內(nèi)存越界檢測方法。
Nucleus PLUS動(dòng)態(tài)內(nèi)存管理組件(DM)負(fù)責(zé)所有的動(dòng)態(tài)內(nèi)存管理。一個(gè)動(dòng)態(tài)內(nèi)存池包括用戶指定數(shù)目的字節(jié),提供了從動(dòng)態(tài)內(nèi)存池中分配或釋放可變長度內(nèi)存塊的服務(wù)。內(nèi)存分配采用first-fit策略(首次適配策略)。
1.1.1內(nèi)存池控制塊鏈表
內(nèi)存池通過動(dòng)態(tài)內(nèi)存池控制塊(DM_PCB,見1.1.2節(jié))管理。所有創(chuàng)建的內(nèi)存池的DM_PCB通過一個(gè)雙向循環(huán)鏈表鏈接起來,即內(nèi)存池控制塊鏈表。全局變量DMD_Created_Pools_List為該鏈表的頭指針。動(dòng)態(tài)內(nèi)存池可以動(dòng)態(tài)刪除和創(chuàng)建,每創(chuàng)建一個(gè)動(dòng)態(tài)內(nèi)存池,其DB_PCB加入到鏈表尾端;每刪除一個(gè)動(dòng)態(tài)內(nèi)存池,其在鏈表中對應(yīng)的DB_PCB節(jié)點(diǎn)就會(huì)從鏈表中刪除。內(nèi)存池控制塊鏈表如圖1所示。
圖1 內(nèi)存池控制塊鏈表
1.1.2內(nèi)存池控制塊(DM_PCB)
DM_PCB用于管理內(nèi)存池,它包含了內(nèi)存池的狀態(tài)和控制信息,屬性見表1。
表1 內(nèi)存池控制塊主要屬性
DM_PCB的dm_suspension_list鏈表的每個(gè)節(jié)點(diǎn)為一個(gè)內(nèi)存池阻塞結(jié)構(gòu),其定義見DM_SUSPEND。它主要包含如下信息:
① dm_memory_pool:內(nèi)存池控制塊指針,指示阻塞哪個(gè)內(nèi)存池上。
② dm_suspended_task:任務(wù)控制塊指針,指示哪個(gè)任務(wù)被阻塞。
③ dm_request_size:任務(wù)請求內(nèi)存的大小。
1.1.3內(nèi)存池內(nèi)存布局
內(nèi)存池的內(nèi)存由內(nèi)存塊組成,分為空閑內(nèi)存塊和已分配內(nèi)存塊。每個(gè)內(nèi)存塊都有一個(gè)內(nèi)存頭數(shù)據(jù)結(jié)構(gòu)(DM_HEADER,見1.1.4節(jié)),用以描述該內(nèi)存塊的基本信息以及用于鏈接其它內(nèi)存塊的指針信息,內(nèi)存頭與用戶數(shù)據(jù)連續(xù)存在一起。內(nèi)存池內(nèi)存中存在兩個(gè)雙向鏈表:①“全部內(nèi)存塊鏈表”:鏈接了全部內(nèi)存塊,包括已分配內(nèi)存塊和空閑內(nèi)存塊。②“空閑內(nèi)存塊鏈表”:只鏈接了空閑內(nèi)存塊。“全部內(nèi)存塊鏈表”的頭指針保存在內(nèi)存池控制塊的dm_start_address中,通過DM_HEADER的dm_next_memory和dm_previous_memory指針將所有內(nèi)存塊雙向鏈接起來。“空閑內(nèi)存塊鏈表”的頭指針保存在內(nèi)存控制塊的dm_memory_list中,通過DM_HEADER的dm_next_free和dm_previous指針將空閑內(nèi)存塊雙向鏈接起來。圖2為內(nèi)存池布局圖。
圖2 內(nèi)存池布局圖
內(nèi)存池剛創(chuàng)建后,只有一個(gè)空閑塊和一個(gè)Trailer塊,隨著該內(nèi)存池中內(nèi)存的不斷申請和釋放,內(nèi)存池便被分割成許多內(nèi)存塊。
1.1.4內(nèi)存頭數(shù)據(jù)結(jié)構(gòu)(DM_HEADER)
內(nèi)存頭存儲(chǔ)了內(nèi)存塊基本信息以及用于鏈接其它內(nèi)存塊的指針信息。主要屬性如表2所列。
表2 DM_HEADER主要屬性
DM_HEADER數(shù)據(jù)類型的大小為24, 但是所占內(nèi)存開銷的大小(見DM_OVERHEAD)卻定義16,少了8個(gè)字節(jié)。原因是:對于已分配內(nèi)存塊,DM_HEADER中不存儲(chǔ)dm_next_free和dm_previous_free這兩個(gè)共占8個(gè)字節(jié)的指針。對于空閑內(nèi)存塊,dm_next_free、dm_previous_free這個(gè)指針只是暫時(shí)存儲(chǔ)在其可用內(nèi)存中,當(dāng)該內(nèi)存塊被分配出去時(shí),這兩個(gè)指針?biāo)诘膬?nèi)存也在分配范圍內(nèi)。
DM_HEADER中并沒有定義表示內(nèi)存塊內(nèi)存大小的數(shù)據(jù)。但是內(nèi)存塊內(nèi)存的大小是可以推算出來的。對于某個(gè)內(nèi)存塊(pt指針指向該內(nèi)存塊),計(jì)算方法如下:
(char)pt->dm_next_memory - (char)pt - DM_OVERHEAD。
對于Trailer內(nèi)存塊,只包含了一個(gè)內(nèi)存頭,且dm_memory_free為非空閑狀態(tài)。設(shè)置Trailer內(nèi)存塊的作用是:充當(dāng)一條屏障,防止當(dāng)內(nèi)存池第一塊內(nèi)存塊和最后一塊內(nèi)存塊均空閑時(shí)而發(fā)生的內(nèi)存合并(見1.2.2內(nèi)存釋放)。
本節(jié)主要介紹了內(nèi)存池創(chuàng)建、內(nèi)存分配、內(nèi)存釋放等接口函數(shù)的功能和實(shí)現(xiàn)細(xì)節(jié)。
1.2.1內(nèi)存池創(chuàng)建
NU_Create_Memory_Pool函數(shù)提供內(nèi)存創(chuàng)建功能。內(nèi)存池的內(nèi)存由參數(shù)start_address、pool_size決定。該塊內(nèi)存應(yīng)事先從系統(tǒng)內(nèi)存池(Application_Initialize的mem_pool參數(shù))中分配。內(nèi)存池的創(chuàng)建會(huì)建立一個(gè)屬性由傳入?yún)?shù)決定的DM_PCB,并將其加入到“內(nèi)存控制塊鏈表”中。內(nèi)存池創(chuàng)建后,其內(nèi)存的初始布局為:一個(gè)空閑內(nèi)存塊和一個(gè)Trailer。
1.2.2內(nèi)存分配
內(nèi)存分配采用first-fit策略(首次適配策略)。第一個(gè)滿足需求的可用內(nèi)存塊被分配。如果沒有可用內(nèi)存滿足內(nèi)存分配請求,任務(wù)可能被掛起。系統(tǒng)提供兩種內(nèi)存分配接口:
圖5 內(nèi)存分割
① NU_Allocate_Memory,此方式分配的內(nèi)存首地址不要求對齊。
② NU_Allocate_Aligned_Memory,此方式分配的內(nèi)存首地址要求分配的內(nèi)存首地址按參數(shù)指定的值對齊。
內(nèi)存分配時(shí),可能出現(xiàn)下列內(nèi)存分割情況:(注:下文的“最小分配空間”記為min_alloc,大小為16)
① 尾部分割(rear split):當(dāng)內(nèi)存分配后尾部剩余內(nèi)存-DM_OVERHEAD≥min_alloc時(shí),會(huì)發(fā)生尾部分割,將尾部所剩內(nèi)存新建一個(gè)空閑塊。
圖3中,大小為100字節(jié)的空閑塊中分配出去68字節(jié)后,剩余32字節(jié)。32-DM_OVERHEADE(16)=16,等于“最小分配空間”,于是進(jìn)行尾部分割。
圖3 尾部分割
② 頭部分割(front split):對于對齊方式分配內(nèi)存,如果頭部用于對齊的字節(jié)數(shù)(記為:split_size)大于0,則會(huì)發(fā)生頭部分割。split_size的含義如圖4所示。
圖4 split_size含義
根據(jù)split_size和min_alloc的關(guān)系,又可分為兩種情況:
(1) split_size≥min_alloc + DM_OVERHEAD
此時(shí)預(yù)期在頭部分割出一個(gè)大小為split_size的空閑塊(包含內(nèi)存頭)。例如:對齊方式請求分配大小(size)為96、對齊字節(jié)數(shù)(align)為48的內(nèi)存。內(nèi)存池的#1空閑內(nèi)存首次滿足分配請求,該內(nèi)存塊的起始地址(start_addr)為N×48,可用內(nèi)存大小為128。則會(huì)按圖5所示發(fā)生頭部分割,且內(nèi)存分配起始地址(ptr)為N×48+48。
(2) split_size < min_alloc + DM_OVERHEAD
此種情況下,會(huì)在min_alloc+ DM_OVERHEAD的基礎(chǔ)上再次對齊,計(jì)算出新的split_size,然后再進(jìn)行頭部分割。
1.2.3內(nèi)存池內(nèi)存釋放
NU_Deallocate_Memory提供內(nèi)存釋放功能。內(nèi)存釋放時(shí),將判斷與被釋放內(nèi)存塊(記為dealloc_block)物理位置相鄰的內(nèi)存塊是否空閑,如果空閑,則將該內(nèi)存塊與其進(jìn)行合并。另外,內(nèi)存釋放后會(huì)檢查該內(nèi)存池的阻塞鏈表,如果某些任務(wù)的內(nèi)存請求此時(shí)可被滿足,則將它們從阻塞鏈表中刪除,并喚醒這些任務(wù)。圖6為當(dāng)與dealloc_block物理位置緊鄰的上一塊內(nèi)存和下一塊內(nèi)存均空閑時(shí),發(fā)生的內(nèi)存合并。
圖6 內(nèi)存合并
1.2.4其它
動(dòng)態(tài)內(nèi)存管理模塊還提供其它接口函數(shù):
NU_Create_Memory_Pool: 創(chuàng)建內(nèi)存池。
NU_Add_Memory: 向內(nèi)存池中增加內(nèi)存。
NU_Reallocate_Aligned_Memory:重新分配內(nèi)存。
NU_Delete_Memory_Pool:刪除內(nèi)存池。
因篇幅所限,這些功能不做詳細(xì)介紹。
進(jìn)行內(nèi)存池創(chuàng)建、內(nèi)存分配、內(nèi)存釋放、內(nèi)存池刪除等操作后,DM_PCB、內(nèi)存池內(nèi)存塊的布局以及任務(wù)狀態(tài)均可能發(fā)生變化,檢查這些變化是否正確。
DM_PCB的變化主要指的是:可用內(nèi)存大小(dm_availble)和空閑塊鏈表(dm_memory_list)首指針的變化。
內(nèi)存池內(nèi)存塊的布局可通過“全部內(nèi)存塊鏈表”和“空閑控制塊鏈表”(見1.1.3)來表達(dá)。
NU_Allocate_Aligned_Memory和NU_Deallocate_Memory兩個(gè)API函數(shù)最重要、使用最頻繁,由于篇幅所限,只針對這兩個(gè)函數(shù)介紹其測試用例設(shè)計(jì)。
(三)2012年至今,中國特色社會(huì)主義進(jìn)入了新時(shí)代,中國共產(chǎn)黨以實(shí)現(xiàn)中華民族偉大復(fù)興為引領(lǐng),在知識(shí)分子中深入開展“弘揚(yáng)愛國奮斗精神、建功立業(yè)新時(shí)代”活動(dòng),加強(qiáng)政治吸納,以最大限度凝聚共識(shí)
2.2.1NU_Allocate_Aligned_Memory用例設(shè)計(jì)
用例劃分為以下幾類:
① 空閑內(nèi)存塊鏈表中,首次滿足內(nèi)存請求的內(nèi)存塊在鏈表中的位置:第一塊、中間某塊、最后一塊。
② 各種分割情況。
a. 尾部分割。
b. 頭部分割。又分為split_size≥min_alloc + DM_OVERHEAD的情況和split_size < min_alloc+DM_OVERHEAD的情況。
c. 頭部和尾部均需分割。
d. 頭部和尾部均不需分割。
③ 任務(wù)的阻塞與喚醒。
a. 阻塞原因:內(nèi)存池中不存在可以滿足內(nèi)存分配請求的空閑內(nèi)存塊。
b. 喚醒原因:釋放內(nèi)存、刪除內(nèi)存池、超時(shí)、內(nèi)存池增加內(nèi)存。
c. 喚醒順序:先進(jìn)先出、優(yōu)先級。
④ 各種異常輸入。
2.2.2NU_Deallocate_Memory用例設(shè)計(jì)
① 各種合并情況(下文中的被釋放的內(nèi)存塊記為dealloc_block; 與其物理位置相鄰的前一個(gè)內(nèi)存塊記為prev_block; 與其物理位置相鄰的后一個(gè)內(nèi)存塊記為next_block):
a. prev_block:不空閑,next_block:空閑。
b. prev_block:空閑,next_block:空閑。
c. prev_block:空閑,next_block:不空閑。
d. prev_block與next_block均不空閑。
e. dealloc_block:(除trailer外)最后一個(gè)內(nèi)存塊; 第一個(gè)內(nèi)存塊:空閑。
② 任務(wù)的阻塞與喚醒。
a. 內(nèi)存釋放后,可滿足阻塞鏈表中某些任務(wù)的內(nèi)存請求。
b. 內(nèi)存釋放后,仍無法滿足阻塞鏈表中任何一個(gè)任務(wù)的內(nèi)存請求。
③ 各種異常輸入。
從內(nèi)存碎片問題和內(nèi)存越界風(fēng)險(xiǎn)兩方面來評價(jià)該動(dòng)態(tài)內(nèi)存管理機(jī)制,針對內(nèi)存越界,提出了改進(jìn)和檢測辦法。
內(nèi)存碎片是指內(nèi)存池中有空閑內(nèi)存塊,當(dāng)所有的空閑內(nèi)存塊均小于內(nèi)存請求大小時(shí),稱之為內(nèi)存碎片[3]。Nucleus PLUS提供了如下措施來應(yīng)對內(nèi)存碎片問題:① 內(nèi)存分割時(shí)使用了“最小分配內(nèi)存”。② 內(nèi)存釋放時(shí),與物理位置相鄰的空閑塊進(jìn)行合并。但由于其所采用的first-fit算法的固有缺陷,隨著內(nèi)存池內(nèi)存的不斷分配與釋放,內(nèi)存池支離破碎,仍可能存在內(nèi)存碎片問題。
內(nèi)存塊的管理信息直接放在內(nèi)存池的內(nèi)存中,不需要額外的內(nèi)存用作管理,且內(nèi)存的合并操作非常高效[4]。但這也正是其缺點(diǎn)所在:內(nèi)存池中內(nèi)存塊的管理信息(DM_HEADER)和用戶數(shù)據(jù)連續(xù)存放在一起。如果用戶數(shù)據(jù)寫越界,DM_HEADER的信息可能被破壞,即該內(nèi)存池的內(nèi)存塊的鏈接信息或內(nèi)存塊的空閑標(biāo)志被破壞,從而導(dǎo)致內(nèi)存池模塊功能全面失效。
針對內(nèi)存寫越界可能導(dǎo)致的系統(tǒng)崩潰,建議在該動(dòng)態(tài)內(nèi)存管理模塊增加內(nèi)存越界檢查機(jī)制。具體方式:在內(nèi)存頭增加一塊“越界保護(hù)內(nèi)存”[5],用于防止內(nèi)存的寫越界并提供寫越界檢測。內(nèi)存塊分配時(shí),向“越界保護(hù)內(nèi)存”填充特殊字符。內(nèi)存塊釋放時(shí),判斷“越界保護(hù)內(nèi)存”的特殊字符是否被破壞,從而判斷是否發(fā)生內(nèi)存寫越界。“越界保護(hù)內(nèi)存”會(huì)帶來額外的內(nèi)存開銷,并且只有在內(nèi)存釋放時(shí)才能判斷出來。下節(jié)介紹不改動(dòng)系統(tǒng)代碼的情況下,從應(yīng)用/測試角度可實(shí)施的內(nèi)存越界檢測方法。
Nucleus動(dòng)態(tài)內(nèi)存模塊并沒有提供內(nèi)存池越界檢查手段。但是動(dòng)態(tài)內(nèi)存相關(guān)數(shù)據(jù)結(jié)構(gòu)的一些信息是可以相互驗(yàn)證的;內(nèi)存寫越界發(fā)生時(shí),內(nèi)存頭信息被破壞進(jìn)而內(nèi)存塊鏈表被破壞?;谝陨蟽牲c(diǎn),如果信息不能相互驗(yàn)證或者內(nèi)存塊鏈表的雙向循環(huán)特征被破壞,則內(nèi)存寫越界發(fā)生。提出以下三種檢測方法:
① 從start_address_list開始遍歷,遍歷全部內(nèi)存塊鏈表,應(yīng)能再次遍歷到start__address_list節(jié)點(diǎn)。如果在N次(可配置)循環(huán)中,或在一段時(shí)間內(nèi)(可配置)沒有再次遍歷到start_address_list節(jié)點(diǎn),則有可能內(nèi)存池訪問越界發(fā)生。
② 遍歷全部內(nèi)存塊鏈表。如果內(nèi)存塊A的下一個(gè)內(nèi)存塊(記為內(nèi)存塊B)的dm_previous_memory不為內(nèi)存A,則可能內(nèi)存池訪問越界發(fā)生。
③ 內(nèi)存池控制塊的可用內(nèi)存(DM_PCB的dm_available)與所有空閑塊的內(nèi)存大小之和,應(yīng)該相同。如果不
同,則可能內(nèi)存池訪問越界發(fā)生。
[1] 黃斌.嵌入式操作系統(tǒng)的內(nèi)核剖析及基于ARM的移植[D].武漢:武漢理工大學(xué),2004.
[2] Mentor Graphics Corporation.Nucleus Kernel Guide,2016.
[3] 李志軍.面向嵌入式實(shí)時(shí)系統(tǒng)的動(dòng)態(tài)內(nèi)存管理方法研究[D].重慶:重慶大學(xué),2007.
[4] 李云.專業(yè)嵌入式軟件開發(fā)[M].北京:電子工業(yè)出版社,2012.
[5] 顧勝元,楊丹,黃海倫.嵌入式實(shí)時(shí)動(dòng)態(tài)內(nèi)存管理機(jī)制[J].計(jì)算機(jī)工程,2009,35(20):264-266.
姬希娜(工程師),主要從事繼電保護(hù)及自動(dòng)化產(chǎn)品的測試技術(shù)研究。
單片機(jī)與嵌入式系統(tǒng)應(yīng)用2018年4期