基于NCBI開(kāi)放接口的檢索和下載文獻(xiàn)題錄信息功能的實(shí)現(xiàn)

bool isSuccessful;

List FailedUrlList = new List();

foreach (string url in urlList)

{

//從網(wǎng)站下載數(shù)據(jù)

string xmlPage = DownloadDataFromSite(url);

if (xmlPage == null)

{

FailedUrlList.Add(url);

PubmedLogger.Log(url + "/r" + "There is not the downloaded data. ", LogCategory.Warning); continue;

}

//從xml格式的數(shù)據(jù)里提取所需的題錄信息

articleList = ExtractDataFromXmlPage(xmlPage, searchLogID, url);

if (articleList == null) { FailedUrlList.Add(url); continue; }

//把提取的題錄信息存入本地?cái)?shù)據(jù)庫(kù)

isSuccessful = PutDataToDB(articleList);

if (isSuccessful == false){ return null;}

}

return FailedUrlList;

}

圖 2 EFetch下載題錄信息詳細(xì)流程

3.2.2 EFetch單個(gè)PMID值單條下載方式

如果EFetch批量下載方式下載過(guò)程中有失敗的部分，則通過(guò)EFetch單個(gè)PMID值單條下載方式逐條下載題錄信息并存入本地?cái)?shù)據(jù)庫(kù)。

第一步，需要通過(guò)ESearch下載xml數(shù)據(jù)并提取所有相關(guān)的PMID值，再跟數(shù)據(jù)庫(kù)中成功的部分比較，得到前面批量下載過(guò)程中所有失敗的PMID值。需要注意的是需下載所有的PMID值，ESearch的URL中需要設(shè)置“RetMax”參數(shù)值。ESearch的URL格式如下：http://eutils.ncbi.nlm.nih.gov/entrez/eutils/esearch.fcgi?db=pubmed&term=liver+cancer+AND+AFP&usehistory=y&RetMax=4206

第二步，通過(guò)EFetch單個(gè)PMID值單條下載方式，逐條下載題錄信息并存入本地?cái)?shù)據(jù)庫(kù)。下載和保存的實(shí)現(xiàn)代碼與EFetch批量下載方式中的第二步一樣，區(qū)別在于EFetch單個(gè)PMID值單條下載方式的URL的格式不一樣。

http://eutils.ncbi.nlm.nih.gov/entrez/eutils/efetch.fcgi?db=pubmed&rettype=abstract&retmode=xml&id=26815502

4 測(cè)試結(jié)果

測(cè)試主要是比對(duì)手工檢索結(jié)果頁(yè)面顯示的總的記錄項(xiàng)數(shù)目和本地?cái)?shù)據(jù)庫(kù)中的記錄項(xiàng)數(shù)目是否相等，以及比對(duì)手工下載的結(jié)果文件中的部分內(nèi)容和本地?cái)?shù)據(jù)庫(kù)中由程序代碼下載的內(nèi)容是否相同。由于PubMed數(shù)據(jù)每天更新，所以測(cè)試時(shí)要保證手工檢索和下載結(jié)果文件的時(shí)間與通過(guò)程序代碼下載的時(shí)間不能相隔太久。在不同時(shí)間段，用不同檢索詞，進(jìn)行了多次的測(cè)試，得到的結(jié)果都是相同的。

5 結(jié)語(yǔ)

本文利用NCBI的E-utilities中的ESearch和EFetch兩個(gè)標(biāo)準(zhǔn)的URL接口，實(shí)現(xiàn)了對(duì)PubMed數(shù)據(jù)庫(kù)的檢索和批量自動(dòng)下載檢索結(jié)果中的文獻(xiàn)題錄信息。給出的實(shí)現(xiàn)流程和關(guān)鍵代碼為進(jìn)一步文本挖掘和信息分析提供數(shù)據(jù)基礎(chǔ)。