卓仁前 夏先玉 鐘濤 鄭俏妍

摘要：計算機(jī)實驗室在高校教學(xué)科研活動中發(fā)揮著重要作用，傳統(tǒng)的計算機(jī)實驗室存在建設(shè)成本高、軟件部署難、管理效率低、教學(xué)過程無法監(jiān)管等問題，VDI云桌面實驗平臺可以部分上解決上述問題，但其成本仍然很高，實驗數(shù)據(jù)也無法收集。設(shè)計并實現(xiàn)了SaaS模式的計算機(jī)實驗平臺架構(gòu)，充分發(fā)揮容器技術(shù)輕量、高效等特點，可以大幅降低服務(wù)器數(shù)量，簡化實驗操作，方便實驗數(shù)據(jù)收集分析，在經(jīng)費相對緊張的高校具有良好的應(yīng)用前景。

關(guān)鍵詞：SaaS;容器;計算機(jī)實驗平臺;架構(gòu);低成本

中圖分類號：TP311? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2022）19-0070-04

1 引言

隨著軟件模擬仿真技術(shù)的發(fā)展，計算機(jī)實驗室在高校教學(xué)科研活動中發(fā)揮著越來越重要的作用，當(dāng)前高校計算機(jī)實驗室概括起來主要有三種：一是傳統(tǒng)的計算機(jī)實驗室，由PC加局域網(wǎng)組成，技術(shù)簡單，初次建設(shè)成本低，電費等運(yùn)行成本高，硬件更新?lián)Q代快，導(dǎo)致總體成本高[1]，還有軟件部署效率低、硬件損毀率高、無法集中管理等缺點;二是VDI云桌面實驗室?；贙VM、vsphere、Openstack等虛擬化軟件平臺構(gòu)建的IaaS私有云，本質(zhì)是將計算從分散的PC機(jī)遷移到服務(wù)器，每個用戶獨占一臺虛擬機(jī)，用戶使用瘦客戶機(jī)上的客戶端軟件與服務(wù)器上的虛擬機(jī)進(jìn)行交互，瘦客戶機(jī)性能需求低，不需定期更新?lián)Q代，虛擬機(jī)使用模板批量復(fù)制，軟件部署配置效率高，使用體驗與PC機(jī)無異，除少數(shù)需要虛擬化軟件的課程外，基本所有課程都能使用，缺點是每個虛擬機(jī)內(nèi)都運(yùn)行完整的客戶操作系統(tǒng)，浪費了計算資源，物理層面的隔離造成虛擬機(jī)編排和數(shù)據(jù)收集的困難，遠(yuǎn)程桌面交互數(shù)據(jù)量大，對網(wǎng)絡(luò)帶寬要求高，為保證Windows虛擬機(jī)顯示效果，還須購置服務(wù)器顯卡等，進(jìn)一步推高了硬件成本[2]。三是SaaS（軟件即服務(wù)）實驗平臺，使用B/S架構(gòu)提供即開即用的軟件服務(wù)，用戶通過瀏覽器操作，無須配置，操作簡單，易于管理，服務(wù)器端基于輕量級的docker容器運(yùn)行實驗軟件，避免了重復(fù)的客戶操作系統(tǒng)消耗計算資源，瀏覽器與服務(wù)器使用HTTP協(xié)議交換實驗軟件數(shù)據(jù)，有效數(shù)據(jù)比例相比云桌面大幅提高，節(jié)約網(wǎng)絡(luò)帶寬，用戶實驗數(shù)據(jù)可收集到數(shù)據(jù)倉庫、Git版本控制系統(tǒng)，方便后期統(tǒng)計分析[3-6]。研究了基于Online Judge（在線判題系統(tǒng)）的編程類實驗教學(xué)模式[7-9]，基于開源的課程管理系統(tǒng)Moodle及其VPL（Virtual Programming Lab）插件開展了在線編程實驗教學(xué)實踐，由于操作邏輯和用戶界面不符合國人習(xí)慣，VPL編輯器功能簡陋等原因，Moodle在國內(nèi)沒有得到廣泛應(yīng)用。技能培訓(xùn)網(wǎng)站如希冀、國信藍(lán)橋、開課吧等建立了SaaS模式的實驗平臺，為計算機(jī)類的社會技能培訓(xùn)提供支撐，同時也為部分高校提供線上實驗平臺服務(wù)。

SaaS模式計算實驗平臺的優(yōu)點是總體成本低、管理效率高、用戶體驗好、實驗數(shù)據(jù)收集容易等，缺點是實驗?zāi)Ｊ胶褪褂昧?xí)慣變化大，支持的課程不夠全面，適合于學(xué)生整體素質(zhì)稍差、建設(shè)經(jīng)費不充裕的職業(yè)類院校。基于外購實驗平臺租用成本高和無法沉淀數(shù)據(jù)資產(chǎn)等考慮，高校更傾向于自主建設(shè)云計算實驗平臺。本文描述了一種SaaS模式的計算機(jī)實驗平臺架構(gòu)，可降低建設(shè)成本，提高管理效率，支撐程序設(shè)計類、Linux系統(tǒng)運(yùn)維和軟件操作、數(shù)字邏輯電路設(shè)計等課程的實驗教學(xué)需求，并具有良好的擴(kuò)展性。

2 需求分析

以重慶某職業(yè)學(xué)院為例，計算機(jī)實驗室承擔(dān)的實驗教學(xué)課程主要有以下幾種：

1）C、C++、Python、Java、Scala、Html、Javascript等語言程序設(shè)計，運(yùn)行集成開發(fā)環(huán)境IDE如Visual Studio、PyCharm、Eclipse、Hbuilder等，可分為基礎(chǔ)程序設(shè)計和項目式程序設(shè)計（如Web編程）;

2）服務(wù)器操作系統(tǒng)配置與管理，運(yùn)行Windows Server、CentOS、Ubuntu Server等;

3）數(shù)據(jù)庫基礎(chǔ)課程，運(yùn)行MySQL，MS SQLserver等軟件;

4）計算機(jī)網(wǎng)絡(luò)及網(wǎng)絡(luò)安全類課程，運(yùn)行網(wǎng)絡(luò)設(shè)備模擬軟件（如Cisco Packet Tracer、eNSP、GNS3）、數(shù)據(jù)抓包軟件（wireshark等）和網(wǎng)絡(luò)攻擊靶機(jī)系統(tǒng)等;

5）服務(wù)器運(yùn)維類課程，運(yùn)行vsphere服務(wù)器虛擬化、大數(shù)據(jù)平臺、IaaS云平臺和容器云平臺等軟件;

6）計算機(jī)應(yīng)用基礎(chǔ)，運(yùn)行Windows7操作系統(tǒng)和MS Office、WPS辦公軟件等;

7）圖形圖像設(shè)計類課程，運(yùn)行平面設(shè)計軟件、3D設(shè)計軟件和音視頻編輯軟件，如 AutoCAD、Adobe Creative Suite、CATIA、Pro/E等;

8）單片機(jī)、嵌入式系統(tǒng)編程類課程，需要交叉編譯代碼并燒寫固件;

9）其他使用Windows平臺應(yīng)用軟件的課程。

SaaS云平臺基于容器技術(shù)構(gòu)建，目前只能運(yùn)行Linux系統(tǒng)下的軟件。1）～4）類課程的實驗軟件能在Linux系統(tǒng)上運(yùn)行或者有替代品，可以遷移到SaaS云平臺，5）類課程部分實驗如大數(shù)據(jù)集群等可在容器中運(yùn)行，其他實驗需要虛擬化技術(shù)支持，不適合遷移到SaaS云平臺，6）～9）類的課程實驗軟件只能在Windows系統(tǒng)上運(yùn)行，或者需要與硬件開發(fā)平臺互動，目前不適合遷移到SaaS云平臺。基于此，設(shè)計實驗平臺主要是解決計算機(jī)類部分課程的實驗需求，比如程序設(shè)計、Linux系統(tǒng)操作管理、數(shù)據(jù)庫基礎(chǔ)、計算機(jī)網(wǎng)絡(luò)等類型的課程，同時要有良好的擴(kuò)展性，以便后續(xù)支持更多類型的課程。

結(jié)合實驗教學(xué)的業(yè)務(wù)流程和SaaS模式的核心意義，實驗平臺還要具備以下基本特性：

1）根據(jù)不同類型實驗的特點，采用合理的實驗后端系統(tǒng)，盡量減少計算資源的消耗，以支持更多用戶同時使用。

2）系統(tǒng)主要功能是課程管理、實驗管理和統(tǒng)計分析等。

3）系統(tǒng)用戶有游客、教師、學(xué)生和系統(tǒng)管理員，游客可瀏覽、查找系統(tǒng)上的課程，教師建立課程和實驗框架，學(xué)生在線完成實驗，普通用戶經(jīng)過身份認(rèn)證后成為教師用戶，具有教師操作權(quán)限，系統(tǒng)管理員可對課程、人員、內(nèi)容、設(shè)施等數(shù)據(jù)進(jìn)行全面審核和管理。

4）教師可對學(xué)生實驗數(shù)據(jù)進(jìn)行查看和評分，并可從多個維度進(jìn)行統(tǒng)計分析。

5）實驗操作界面分為2個部分，左側(cè)是理論提示窗口，右側(cè)是實驗操作窗口，方便用戶遵照理論提示完成實驗。

6）通過容器化的支持程序設(shè)計實驗，通過容器云桌面支持Linux系統(tǒng)及軟件操作、數(shù)據(jù)庫等課程實驗。

7）支持多步驟操作，每個步驟完成后提交評測，評測分為人工評測和系統(tǒng)評測，合格后進(jìn)入下一步，用戶源代碼文件可以下載。

3 平臺總體設(shè)計

根據(jù)課程對實驗功能的需求不同，可分為基礎(chǔ)程序設(shè)計、項目式程序設(shè)計和系統(tǒng)運(yùn)維3類，基礎(chǔ)程序設(shè)計類是指只有一個源代碼文件的編程實驗，后端使用在線判題系統(tǒng)Judge0執(zhí)行代碼;項目式程序設(shè)計類是指有多個源代碼文件、需要IDE項目管理功能的編程實驗，如Web編程等，后端使用webIDE軟件code-server;系統(tǒng)運(yùn)維類是指需要運(yùn)行多個軟件、進(jìn)行系統(tǒng)配置或?qū)嶒炣浖荒躓eb化運(yùn)行的實驗課程，如Linux操作系統(tǒng)管理、數(shù)據(jù)庫基礎(chǔ)等，后端使用基于xubuntu的系列容器鏡像支撐，以云桌面的形式交付用戶使用。Judge0[10]是一種開源的、可伸縮的在線代碼執(zhí)行系統(tǒng)，內(nèi)置50多種計算機(jī)語言的編譯、解釋、執(zhí)行工具，在沙盒中運(yùn)行用戶提交的代碼，支持?jǐn)?shù)千個用戶同時實驗。code-server[11]是開源的、Web化運(yùn)行的VScode編程器，界面運(yùn)行在瀏覽器中，代碼保存、編譯、執(zhí)行都在到服務(wù)器容器中，具有完善的項目管理、版本控制、編輯器等功能和豐富的擴(kuò)展生態(tài)，內(nèi)置終端和圖形化的git客戶端，配合GitLab等版本控制系統(tǒng)可用于項目式編程，code-server沒有賬號系統(tǒng)和代碼隔離設(shè)施，只能供單用戶使用，需借助主系統(tǒng)的賬號體系完成多租戶功能。xubuntu[12]是輕量的圖形界面Linux系統(tǒng)，具有界面友好、軟件包豐富、用戶基礎(chǔ)廣泛等特點，支持在容器中運(yùn)行，通過安裝不同的軟件，可支持Linux操作系統(tǒng)、數(shù)據(jù)庫基礎(chǔ)等課程實驗。3種實驗鏡像支持的課程見表1。

系統(tǒng)采用層次化架構(gòu)，從上到下依次為表示層、業(yè)務(wù)層、持久化層和數(shù)據(jù)庫層，表示層負(fù)責(zé)顯示W(wǎng)eb界面，分為注冊用戶、教師和系統(tǒng)管理員3個子系統(tǒng)界面;業(yè)務(wù)層負(fù)責(zé)控制邏輯，由課程管理、實訓(xùn)管理、人員管理、班級管理、賬號管理、學(xué)生管理、統(tǒng)計分析等模塊組成;持久化層由數(shù)據(jù)模型、業(yè)務(wù)模型和數(shù)據(jù)庫操作層ThinkORM組成，3個業(yè)務(wù)模型（K8sclient、Judge0、Gitlab）分別封裝了Kubernetes、Judge0和Gitlab的API，實現(xiàn)與相應(yīng)業(yè)務(wù)集群的通信;數(shù)據(jù)庫層負(fù)責(zé)數(shù)據(jù)庫讀寫驅(qū)動，主數(shù)據(jù)庫采用MySQL，Judge0集群內(nèi)置一個Postgres數(shù)據(jù)庫，用于保存用戶會話。

容器云集群采用Kubernetes進(jìn)行編排部署，運(yùn)行實驗容器、Harbor鏡像倉庫服務(wù)和Gitlab版本控制服務(wù)。Harbor是vmware公司開源的Docker鏡像倉庫，具有單一的入口、完善的用戶權(quán)限管理、搜索、日志等功能，具備企業(yè)級的穩(wěn)定性，用于構(gòu)建私有鏡像倉庫，保存Judge0、code-server、xubuntu等實驗鏡像，集群中實驗容器啟動時如果本地沒有相應(yīng)鏡像，將自動到Harbor倉庫中拉取。Gitlab版本控制服務(wù)主要配合code-server容器和評測功能工作，用于保存實驗題目框架和學(xué)生提交的實驗結(jié)果，code-server實驗容器啟動后，觸發(fā)git客戶端的pull操作，根據(jù)環(huán)境變量中保存的實驗題目參數(shù)，從Gitlab服務(wù)下載相應(yīng)的題目框架，用戶提交實驗數(shù)據(jù)時，觸發(fā)git客戶端的add、commit和push系列操作，將實驗數(shù)據(jù)提交Gitlab服務(wù)保存。系統(tǒng)架構(gòu)如圖1所示。

Web服務(wù)器有3個功能：1）管理人員、賬號、課程、實訓(xùn)、統(tǒng)計等信息，將數(shù)據(jù)更新到主數(shù)據(jù)庫;2）通過kubernets API創(chuàng)建、管理實驗容器code-server和xubuntu;3）通過kube-proxy與集群內(nèi)的Judge0服務(wù)和Gitlab服務(wù)通信。用戶實驗操作窗口使用iframe實現(xiàn)，直接向?qū)嶒炄萜髡埱蠓?wù)，為了避免實驗容器所在的服務(wù)器IP地址和端口對外暴露造成安全隱患，采用kube-proxy組件進(jìn)行反向代理，將用戶訪問請求轉(zhuǎn)發(fā)到集群內(nèi)service，service采用虛擬的ClusterIP，不會暴露服務(wù)器的真實IP，信息流向如圖2所示。

4 系統(tǒng)實現(xiàn)

4.1 平臺開發(fā)技術(shù)

基于PHP技術(shù)和ThinkPHP框架構(gòu)建多租戶框架的核心系統(tǒng)，ThinkPHP是國內(nèi)基于開源協(xié)議發(fā)布的輕量級PHP開發(fā)框架，支持MVC（即：Model-View-Contoller，數(shù)據(jù)層、表現(xiàn)層、業(yè)務(wù)層）和MVVM（即：Model-View-ViewModel，數(shù)據(jù)層、表現(xiàn)層、視圖數(shù)據(jù)層）架構(gòu)的軟件開發(fā)，具有功能完善、快速、簡單、生態(tài)豐富等特點，適用于快速構(gòu)建中小型Web系統(tǒng)。

按照MVC架構(gòu)分層的思想，ThinkPHP中數(shù)據(jù)庫模型Model對應(yīng)每個數(shù)據(jù)庫表，對應(yīng)的業(yè)務(wù)邏輯都封裝在數(shù)據(jù)表的增、刪、改、查操作中，由于實訓(xùn)管理邏輯比較復(fù)雜，分為業(yè)務(wù)模型和數(shù)據(jù)模型2層，業(yè)務(wù)模型封裝Judge0、K8S和Gitlab的API接口，數(shù)據(jù)模型負(fù)責(zé)主數(shù)據(jù)庫操作;控制器Controller用于接受用戶請求，并調(diào)用模型的方法來完成相應(yīng)邏輯處理。視圖View負(fù)責(zé)前端界面實現(xiàn)，實驗操作界面如圖3～圖5所示。

4.2 系統(tǒng)性能測試

Judge0用于處理基礎(chǔ)程序設(shè)計實驗，其服務(wù)集群由1個master、1個或多個workers、1個redis消息隊列和1個postgres數(shù)據(jù)庫組成，master服務(wù)接受用戶請求并放入消息隊列，workers服務(wù)輪詢消息隊列，取出請求并編譯執(zhí)行，執(zhí)行結(jié)果更新到postgres數(shù)據(jù)庫中，服務(wù)集群使用Kubernets或docker-compose編排。Judge0是CPU密集型程序，性能與CPU核心數(shù)量和運(yùn)行頻率高度相關(guān)，與內(nèi)存容量的關(guān)系不大，官方建議workers服務(wù)數(shù)量不超過CPU核心數(shù)的2倍。本文以1臺vmware虛擬機(jī)（6核CPU、16G內(nèi)存）為例進(jìn)行測試，運(yùn)行Python冒泡排序程序，200個并發(fā)，共提交2000個請求，workers服務(wù)的數(shù)量與運(yùn)行性能的關(guān)系如圖6所示。

結(jié)果表明，沒有出現(xiàn)系統(tǒng)阻塞、請求溢出等情況，完成2000個請求耗時10分鐘左右，為避免用戶等待時間過長，本文以5分鐘為限計算，5分鐘內(nèi)集群可處理完大約1000個請求，隨著worker服務(wù)數(shù)量的增加，完成的請求數(shù)有所增加，但master服務(wù)的處理能力呈下降趨勢。因此，workers服務(wù)數(shù)量設(shè)置為CPU核心數(shù)-1（此例中為5）可以獲得更好的綜合性能。因此，1臺服務(wù)器運(yùn)行Judge0可以支撐上千名用戶同時實驗，效率相比傳統(tǒng)實驗?zāi)Ｊ骄哂袠O大優(yōu)勢。

1個code-server容器忙時占用內(nèi)存約250MB，運(yùn)行1個xubuntu容器（未運(yùn)行其他實驗軟件）占用內(nèi)存約150MB，相比而言，VDI實驗平臺模式下，運(yùn)行ubuntu+vscode的虛擬機(jī)需要2GB內(nèi)存[13]，運(yùn)行xubuntu系統(tǒng)的虛擬機(jī)需要內(nèi)存2GB[14]。表2列舉了兩種云平臺運(yùn)行相同功能實驗軟件可支撐的用戶數(shù)量對比（按照服務(wù)器32GB內(nèi)存，SaaS方案物理內(nèi)存使用量不超過80%，操作系統(tǒng)和其他程序占用1GB內(nèi)存估算），由此可見，SaaS模式實驗平臺使用相同服務(wù)器能夠支撐約10倍于VDI實驗平臺的用戶數(shù)量。

5 結(jié)束語

由于Windows操作系統(tǒng)不能在Linux容器中運(yùn)行，該實驗平臺架構(gòu)支持的課程實驗數(shù)量不如VDI云桌面實驗平臺，解決辦法是使用Openstack替換Kubernets，修改計算組件nova和鏡像組件Glance的配置文件，增加對Docker容器的支持，在集群內(nèi)同時運(yùn)行容器與Windows虛擬機(jī)。

隨著云計算技術(shù)不斷發(fā)展普及，高校計算機(jī)實驗室逐漸向云計算、智能化方向發(fā)展，以更好地服務(wù)于教學(xué)科研工作。本文分析了高校計算機(jī)實驗室建設(shè)的現(xiàn)狀和需求，設(shè)計實現(xiàn)了一種基于容器技術(shù)的SaaS模式計算機(jī)實驗平臺架構(gòu)，在成本和用戶體驗上具有較大優(yōu)勢，可以支撐計算機(jī)類和電子類專業(yè)部分課程的實驗，相信在高校具有良好的應(yīng)用前景。

參考文獻(xiàn)：

[1] 何晶，喻飛，李仁發(fā)，等.虛擬實驗室中實驗容器的建模[J].系統(tǒng)仿真學(xué)報，2005，17（1）：79-82.

[2] 閆格.基于云計算架構(gòu)的高校實驗室設(shè)計與實施[J].漳州師范學(xué)院學(xué)報（自然科學(xué)版），2011，24（3）：25-29.

[3] 張麗，尹紅征，馮志慧.OJ平臺在計算機(jī)專業(yè)教學(xué)中的應(yīng)用[J].電腦知識與技術(shù)（學(xué)術(shù)版），2020（5）：184-185.

[4] 沈涵飛.在線評測系統(tǒng)在高職程序設(shè)計實踐教學(xué)中的應(yīng)用[J].無線互聯(lián)科技，2016（23）：79-80.

[5] 黃曉華，沈健，常晉義，等.基于Online Judge與HTML批注技術(shù)的實驗教學(xué)平臺設(shè)計[J].計算機(jī)與現(xiàn)代化，2014（11）：117-121.

[6] 何移.基于Online Judge的算法與編程實訓(xùn)平臺建設(shè)[J].產(chǎn)業(yè)與科技論壇，2016，15（12）：64-65.

[7] 劉欽波.基于Moodle平臺的在線編程實驗室的建設(shè)[J].中國信息技術(shù)教育，2019（S3）：125-127.

[8] 孫丹鵬.基于Moodle環(huán)境的在線編程與測評系統(tǒng)研究[J].信息記錄材料，2018，19（10）：202-203.

[9] 張占義.基于Moodle環(huán)境的在線編程和測評[J].信息與電腦，2019（2）：120-121.

[10] Judge0 CE-API Docs[EB/OL].[2021-10-20].https：//ce.judge0.com/#header-about.

[11] CODER.Home-code-server v4.2.0 docs（coder.com）[EB/OL].[2021-10-20].https：//coder.com/docs/code-server/latest.

[12] CANONICAL LTD.Feature Tour ? Xubuntu[EB/OL].[2021-10-20].https：//xubuntu.org/tour/.

[13] MICROSOFT CO.LTD.Requirements for Visual Studio Code[EB/OL].[2021-10-20].https：//code.visualstudio.com/Docs/supporting/requirements.

[14] CANONICAL LTD.System Requirements ? Xubuntu[EB/OL].[2021-10-20].https：//xubuntu.org/requirements/.

收稿日期：2022-03-11

基金項目：重慶建筑科技職業(yè)學(xué)院科研項目《基于云計算技術(shù)的在線編程虛擬實訓(xùn)室建設(shè)研究——以 Python 語言為例》（項目編號：2021007）

作者簡介：卓仁前（1982—），男，重慶人，講師，碩士，研究方向為計算機(jī)技術(shù)應(yīng)用;夏先玉（1982—），女，重慶人，副教授，碩士，研究方向為物聯(lián)網(wǎng)信息技術(shù)及其職業(yè)教育研究;鐘濤（1978—），男，重慶人，工程師，碩士，主要研究方向為計算機(jī)技術(shù)應(yīng)用;鄭俏妍（1983—），女，海南?？谌耍苯淌?，學(xué)士，研究方向計算機(jī)技術(shù)應(yīng)用。