LwIP協(xié)議棧的pbuf結(jié)構(gòu)探索與研究

，

(西安工程大學(xué) 電子信息學(xué)院，西安 710048)

引 言

隨著工業(yè) 4.0 的提出和工業(yè)以太網(wǎng)的普及,越來越多的工業(yè)設(shè)備急需接入 Internet[14-15]。 以太網(wǎng)是嵌入式系統(tǒng)的一個重要模塊[8]。實現(xiàn)嵌入式設(shè)備的互聯(lián)必須要有網(wǎng)絡(luò)協(xié)議的支持[4]。LwIP在嵌入式通信中占有很重要的地位，主要是由于其占用資源較少。實驗表明,運行該協(xié)議只需要20 KB的RAM和40 KB的ROM[2]。LwIP協(xié)議為數(shù)據(jù)通信提供了基礎(chǔ)[5]。pbuf結(jié)構(gòu)對于LwIP而言是非常重要的，它關(guān)系到數(shù)據(jù)存放的問題，由于不同類型pbuf的內(nèi)存分配方式有所不同，那就意味著將會儲存不同類型的數(shù)據(jù)包。如果對pbuf沒有一個深刻的了解和認識，就不能靈活地運用pbuf的類型。靈活運用pbuf的類型對于數(shù)據(jù)包的接收和發(fā)送是非常重要的[13]，如果不能合理地分配儲存空間的大小和pbuf類型，可能導(dǎo)致數(shù)據(jù)丟失和空間的浪費。為了解決上述問題，本文對pbuf結(jié)構(gòu)進行了深度分析，并設(shè)計了內(nèi)存分配實驗。

1 pbuf結(jié)構(gòu)介紹

LwIP是瑞士計算機科學(xué)院開發(fā)的一套用于嵌入式系統(tǒng)的開源TCP/IP協(xié)議棧[7,12]，用于嵌入式系統(tǒng)的開放源代碼的 TCP/IP 協(xié)議棧[8]。 LwIP提供一系列函數(shù)實現(xiàn)IP、TCP、UDP等操作[10]。對數(shù)據(jù)包如何進行處理，在LwIP“輕型IP協(xié)議(Light Weight IP)”[21]中是非常重要的一個環(huán)節(jié)。在網(wǎng)卡驅(qū)動編寫時最核心的部分是數(shù)據(jù)的存儲與傳輸方式[6]。而在LwIP中主要利用4種不同類型的pbuf來對數(shù)據(jù)包進行分類管理。

由于實際存入pbuf結(jié)構(gòu)的數(shù)據(jù)可能會很大，所以需要由多個pbuf才可以實現(xiàn)對數(shù)據(jù)包的存放。這些pbuf可以是相同的類型，也可以是多種類型的混合使用。pbuf的申請和釋放是通過兩個函數(shù)pbuf_alloc()和pbuf_free()來完成的，pbuf_alloc()函數(shù)中含有兩個重要的參數(shù)：layer和type，其中枚舉類型pbuf_layer通過參數(shù)layer決定是協(xié)議棧的哪一層(PBUF_TRANSPORT、PBUF_IP、PBUF_LINK以及PBUF_RAW)和pbuf中的offset“偏移量”。pbuf的類型主要通過枚舉類型Pbuf_type體現(xiàn)出來，然后根據(jù)參數(shù)type的不同進行不同的選擇，最后再通過switch語句選擇用哪一種類型。LwIP中的 pbuf 有4種類型: PBUF_POOL、PBUF_RAM、PBUF_ROM、PBUF_REF[1]。pbuf結(jié)構(gòu)如下:

struct pbuf {

struct pbuf *next; /*指向下一個pbuf*/

void *payload; /*指向數(shù)據(jù)緩沖區(qū)*/

u16_t tot_len; /*所有pbuf的數(shù)據(jù)長度*/

u16_t len; /*當(dāng)前pbuf的數(shù)據(jù)長度*/

u8_t type; /*pbuf類型*/

u8_t flags /*狀態(tài)標(biāo)志*/

u16_t ref; /*記錄當(dāng)前pbuf被引用次數(shù)*/

};

2 pbuf類型的探索與研究

2.1 PBUF_RAM類型

PBUF_RAM類型的pbuf是從LwIP的內(nèi)存堆中申請得到的，主要用來儲存協(xié)議棧和應(yīng)用程序中的待發(fā)送數(shù)據(jù)，所以在學(xué)習(xí)和了解PBUF_RAM之前要先對內(nèi)存堆的結(jié)構(gòu)進行分析和了解。從圖 1內(nèi)存堆的結(jié)構(gòu)示意圖中可以看出，每一個被分配的存儲塊都包含一個小的結(jié)構(gòu)。其結(jié)構(gòu)體的成員變量分別包括next、prev以及used。為了能夠更加清楚地了解內(nèi)存堆的分配狀況，特意對其組織結(jié)構(gòu)圖進行了顏色區(qū)別，其中陰影部分表示被分配(used 被置位為1)，否則為0。內(nèi)存堆組織結(jié)構(gòu)還可以通過*next和*prev將相鄰的結(jié)構(gòu)塊連接起來。在內(nèi)存堆分配內(nèi)存時需要注意:在其分配時每個內(nèi)存塊的大小是有一定差異的，而且可能會隨時變動。在對內(nèi)存堆分析過后，再對PBUF_RAM類型的pbuf進行代碼講解，其源代碼主要在源文件pbuf.c中。其部分代碼如下:

case PBUF_RAM：

p=(structpbuf*)mem_malloc(LwIP_MEM_ALIGN_S

IZE(SIZEOF_STRUCT_PBU+offset)+LwIP_MEM_ALIGN_SIZE(length))；

/*獲取PBUF_RAM類型內(nèi)存大小*/

if (p == NULL) {return NULL；}

p->payload = LwIP_MEM_ALIGN((void *)((u8_t *)

p+SIZEOF_STRUCT_PBUF+offset))；

p->len = p->tot_len = length；/*數(shù)據(jù)包幀的大小*/

p->next = NULL；

p->type = type；

break；

圖2 PBUF_RAM類型的pbuf結(jié)構(gòu)

通過源代碼可知，PBUF_RAM類型的pbuf結(jié)構(gòu)內(nèi)存的大小分別包括offset、length和SIZEOF_STRUCT_PBU。其中offset表示一個偏移量里面用來存儲一些首部字段，如TCP報文首部、IP首部等。由于next和payload占用4個字，然而tot_len、len和ref占用2個字節(jié)，type和flags為1個字節(jié)，因為圖2中每一行分配為4個字節(jié)，所以next和payload各占用一行，tot_len和len兩者共同占用一行，而type、flags和ref三者共同占用一行，最后的空白區(qū)域表示數(shù)據(jù)存儲區(qū)。又因為其先后順序不同，最終申請的PBUF_RAM類型的pbuf結(jié)構(gòu)如圖2所示。

2.2 PBUF_POOL類型

PBUF_POOL類型的pbuf與PBUF_RAM類似，都包括offset、length和SIZEOF_STRUCT_PBU，不同之處在于兩者申請內(nèi)存的地方不同，從而導(dǎo)致特性不同，由于分配PBUF_POOL速度快，所以可以用來存放對分配內(nèi)存速度要求較高的數(shù)據(jù)。其部分代碼如下：

p=(structpbuf*)memp_malloc(MEMP_PBUF_POOL);

/*獲取PBUF_POOL內(nèi)存大小*/

if (p == NULL) {

PBUF_POOL_IS_EMPTY();

return NULL;}

p->type = type;

p->next = NULL;

p->payload = LwIP_MEM_ALIGN((void *)((u8_t *)

p + (SIZEOF_STRUCT_PBUF + offset)));

break;

由于PBUF_POOL類型的pbuf其內(nèi)存是從MEMP_PBUF_POOL中申請得到的，所以能夠通過在MEMP_PBUF_POOL中改變宏定義PBUF_POOL_SIZE的大小來設(shè)置內(nèi)存池的個數(shù)，通過改變PBUF_POOL_BUFSIZE的數(shù)值來改變內(nèi)存池大小。但是其不能設(shè)置的太大，要根據(jù)數(shù)據(jù)實際應(yīng)用的大小來定義，因為每個POOL都具有固定大小，如果設(shè)置太大會造成內(nèi)存的浪費[16]，如果設(shè)置太小可能會出現(xiàn)以下問題：

① 每個pbuf結(jié)構(gòu)在內(nèi)存池中占用的內(nèi)存大小是一定的，假如POOL設(shè)置太小，就會導(dǎo)致內(nèi)存利用率下降；

② 如果pbuf中數(shù)據(jù)區(qū)分配太小,可能會導(dǎo)致數(shù)據(jù)分組首部信息得存放到下一個pbuf結(jié)構(gòu)中，從而導(dǎo)致操作不方便。

事實上,應(yīng)用程序發(fā)送和接收的數(shù)據(jù)可能會遠遠大于一個PBUF_POOL所存儲的數(shù)據(jù)量，而且內(nèi)存池類型的內(nèi)存分配每次分配到的大小是固定的，圖3所示一般需要多個PBUF_POOL類型并通過指針next指向下一個PBUF_POOL類型，從而使多個PBUF_POOL類型鏈接成一個鏈表,用于存儲數(shù)據(jù)分組。雖然經(jīng)過多次分配構(gòu)成一個鏈表，但是它們?nèi)匀皇且粋€數(shù)據(jù)包，因此只有第一個pbuf有offset來存儲有關(guān)數(shù)據(jù)包的信息，其余的則不需要。

圖3 PBUF_POOL

2.3 PBUF_ROM和PBUF_REF類型

圖4 PBUF_ROM和PBUF_REF

PBUF_ROM、PBUF_REF與PBUF_POOL一樣都是從內(nèi)存池中申請得到的，但是不同之處是它們使用的是內(nèi)存池MEMP_PBUF。如圖4所示，這兩種類型的pbuf所申請的內(nèi)存主要是用來存放pbuf結(jié)構(gòu)體，并沒有給數(shù)據(jù)空間申請內(nèi)存，但是這兩個的數(shù)據(jù)空間可以應(yīng)用其它地方的內(nèi)存(RAM/ROM)進行數(shù)據(jù)存儲。

3 pbuf的釋放

在對pbuf進行內(nèi)存釋放的時候是通過調(diào)用pbuf_free()來完成，當(dāng)釋放pbuf的時候，LwIP會自動檢測pbuf的類型，然后再調(diào)用相關(guān)的函數(shù)進行相對應(yīng)的刪除。但是在對其內(nèi)存進行釋放的時候需要先滿足一定的條件，其中主要是通過檢測ref“引用(reference)”的大小，只有當(dāng)ref的數(shù)值不小于1的時候，pbuf才有可能被釋放，但不是一定會被釋放，當(dāng)有其它類型的pbuf通過next指針指向該pbuf的時候，其相對應(yīng)的ref的值就會相對應(yīng)的增加1，當(dāng)釋放pbuf的時候其先對應(yīng)的那個ref數(shù)值也會相對應(yīng)的減去1。當(dāng)有多個pbuf結(jié)構(gòu)連接在一起時，釋放第一個pbuf時，該pbuf鏈的第二個節(jié)點就會成為pbuf鏈的第一個節(jié)點同時會自動檢測pbuf節(jié)點是否被其它的所引用，即判斷ref是否大于1，如果不大于則繼續(xù)刪除，否則終止。

4 試驗結(jié)果

本實驗是在以Cortex-M3為內(nèi)核的開發(fā)板上進行[9]，對PBUF_RAM類型的pbuf在RAM中的內(nèi)存分配和釋放進行模擬實驗，探究了其如何進行內(nèi)存分配和存儲數(shù)據(jù)以及如何進行內(nèi)存的釋放。因為pbuf的類型較多，而且在對數(shù)據(jù)管理的時候可能為多種類型混合使用，不易針對某個類型的pbuf進行單獨內(nèi)存分配和釋放實驗。對該內(nèi)存堆的操作類似于C語言中的malloc/free[1,3]。所以該實驗主要是通過運用malloc/free函數(shù)在內(nèi)部內(nèi)存RAM分配和釋放內(nèi)存的方式來模擬PBUF_RAM在RAM中的分配和釋放[16-18]，并通過LCD進行字符串的存儲地址、寫入的字符串，以及RAM使用率的顯示。

其中圖5、圖6中的SRAMIN USED字樣表示RAM的使用率，Addr用來表示數(shù)據(jù)存放的地址。通過圖5可以看出，當(dāng)向內(nèi)部內(nèi)存RAM中寫入字符串“Memory Malloc Test123”時，其內(nèi)存使用率為10%，存儲地址為0X2000 92C0，說明已經(jīng)將字符串寫入到RAM中。圖6是對其內(nèi)存釋放，可以看出其內(nèi)存使用率減小，其地址變?yōu)?X0000 0000，表明將RAM中的數(shù)據(jù)進行了釋放，但是其內(nèi)存使用率理論上應(yīng)該為0，這里的5%就是內(nèi)存碎片。由于嵌入式系統(tǒng)的內(nèi)存空間是非常寶貴的，尤其對于數(shù)據(jù)的傳輸而言，如果每次傳輸都產(chǎn)生碎片，那就是資源的浪費。所以對pbuf結(jié)構(gòu)的分析與探究是非常必要的。

圖5 內(nèi)存申請

圖6 內(nèi)存釋放

結(jié) 語

[1] 付曉軍,夏應(yīng)清,何軒.嵌入式LwIP協(xié)議棧的內(nèi)存管理[J].電子技術(shù)應(yīng)用,2006(3):56-57.

[2] 來愛華,盧軍,游繼安.基于LwIP協(xié)議的多點控制系統(tǒng)研究[J].湖北工程學(xué)院學(xué)報,2016,36(3):28-33.

[3] 蔡雄飛,王新華,郭淑琴.嵌入式TCP/IP協(xié)議LwIP的內(nèi)存管理機制研究[J].杭州電子科技大學(xué)報,2012,32(4):118-121.

[4] 王祖云,楊思國,王建偉,等.嵌入式LwIP協(xié)議棧的移植與測試研究[J].計算機與數(shù)字工程,2014,42(2):272-275,318.

[5] 趙智增,馮春鵬.基于STM32的以太網(wǎng)接口轉(zhuǎn)多串口透傳模塊設(shè)計[J]. 山西電子技術(shù),2016(2):30-33.

[6] 曹紹華,史永宏.基于32位處理器的網(wǎng)絡(luò)驅(qū)動及協(xié)議棧研究[J].現(xiàn)代電子技術(shù),2016,39(19):317-321.

[7] 張齊,勞熾元.輕量級協(xié)議棧LwIP的分析與改進[J].計算機工程與設(shè)計,2010,31(10):2169-2171,2256.

[8] 韓德強,楊淇善,王宗俠,等.基于μC/OS-III的LwIP協(xié)議棧的移植與實現(xiàn)[J].電子技術(shù)應(yīng)用,2013,39(5):18-21.

[9] 楊明極,祝慶峰,李碩.基于STM32的嵌入式網(wǎng)絡(luò)控制器設(shè)計[J].測控技術(shù),2014,33(10):93-96.

[10] 徐立艷.基于ARM和LabVIEW的網(wǎng)絡(luò)數(shù)據(jù)采集測試系統(tǒng)設(shè)計[J].現(xiàn)代電子技術(shù),2016,39(5):24-27,32.

[11] 高羅卿,莊源昌.基于LwIP協(xié)議的嵌入式遠程監(jiān)控終端的研發(fā)與實現(xiàn)[J].電氣自動化,2015,37(1):49-51.

[12] 劉培剛,杜靖中.基于μC/OS-II和LwIP嵌入式設(shè)備以太網(wǎng)通信研究與實現(xiàn)[J].電子設(shè)計工程,2017,25(16):129-133.

[13] 薛建彬,郭燕波,許洋,等.LwIP在微控制系統(tǒng)中的移植與應(yīng)用[J].數(shù)字技術(shù)與應(yīng)用,2016(10):2.

[14] 周一兵,劉憲鵬.LwIP 在嵌入式系統(tǒng)中的應(yīng)用[J].科技視界,2013(6):40.

[15] 曹輝.基于μC/OS-III的嵌入式web服務(wù)器的應(yīng)用研究[J].自動化技術(shù)與應(yīng)用,2016,35(2):36-39.

[16] 鄢濤,于曦.基于C++的高效內(nèi)存池的設(shè)計與實現(xiàn)[J].成都大學(xué)學(xué)報:自然科學(xué)版,2017,36(3):257-261.

[17] Bryant R E.深入理解計算機系統(tǒng)[M].龔奕利,等譯.北京:北京機械工業(yè)出版社,2016.

[18] Wang N,Liu X,He J,et al.Collaborative memory pool inCluster system[C]//International Conference on ParallelProcessing,007.China:Xi'an,2007.

[19] 侯捷.STL 源碼剖析[M].武漢:華中科技大學(xué)出版社,2002.

[20] HAN D,YANG Q,WANG Z,et al.Implementationof LwIP porting based on μC/OS-III[J].Application of Electronic Technique,2013.

[21] 蔣俊,鐘偉勝.μC/OS-II和LwIP的并發(fā)服務(wù)器與代理線程設(shè)計模式[J].單片機與嵌入式系統(tǒng)應(yīng)用,2014(12):42-44.

徐健(副教授)，主要研究方向為電能質(zhì)量、數(shù)字信號處理；孫慶，主要研究方向為計算機控制網(wǎng)絡(luò)。