網(wǎng)絡(luò)爬蟲(chóng)
- 基于Selenium的網(wǎng)站自動(dòng)登錄技術(shù)
盧明俊摘要：網(wǎng)絡(luò)爬蟲(chóng)的應(yīng)用十分廣泛，其所要完成的任務(wù)與所要處理的網(wǎng)站往往差異巨大。針對(duì)某些網(wǎng)絡(luò)爬蟲(chóng)所需要的自動(dòng)登錄功能，介紹一種基于Selenium的解決方案，并通過(guò)具體的實(shí)例說(shuō)明有關(guān)的編程技術(shù)。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng)；自動(dòng)登錄；Selenium；Python中圖分類號(hào)：TP311? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044（2023）34-0048-04開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）0 引言目前，網(wǎng)絡(luò)爬蟲(chóng)方興未艾，其主要用途就是按照一定的規(guī)則
電腦知識(shí)與技術(shù) 2023年34期2024-01-24
- 基于Python的電子元件信息爬取與數(shù)據(jù)可視化系統(tǒng)設(shè)計(jì)
助。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng)；Python；數(shù)據(jù)可視化；反爬中圖分類號(hào)：F426.63文獻(xiàn)標(biāo)志碼：A0 引言網(wǎng)絡(luò)爬蟲(chóng)又被稱為網(wǎng)絡(luò)機(jī)器人。它的工作就是在網(wǎng)頁(yè)上搜索所需要的信息，是搜索引擎的重要組成部分［1］。它的工作原理是先確定所需要爬取的主頁(yè)面的URL，然后通過(guò)此URL對(duì)目標(biāo)服務(wù)器發(fā)出請(qǐng)求，在發(fā)出請(qǐng)求的同時(shí)還需要攜帶一些參數(shù)，避免反爬。服務(wù)器收到請(qǐng)求后給出響應(yīng)，爬蟲(chóng)程序就獲得了此URL的頁(yè)面源代碼。通過(guò)解析源代碼獲得所需要的數(shù)據(jù)。本文設(shè)計(jì)的爬蟲(chóng)系統(tǒng)，能夠爬取互聯(lián)網(wǎng)
無(wú)線互聯(lián)科技 2023年9期2023-07-20
- 基于Python的拉勾網(wǎng)網(wǎng)絡(luò)爬蟲(chóng)設(shè)計(jì)與實(shí)現(xiàn)
位網(wǎng)絡(luò)資源，網(wǎng)絡(luò)爬蟲(chóng)技術(shù)日漸興起。由于Python語(yǔ)言的強(qiáng)兼容性，基于Python的網(wǎng)絡(luò)爬蟲(chóng)技術(shù)成為了一種主流爬蟲(chóng)技術(shù)。針對(duì)學(xué)生求職的需求，文章采用基于Python的網(wǎng)絡(luò)爬蟲(chóng)技術(shù)，設(shè)計(jì)拉勾網(wǎng)的崗位信息爬取程序，實(shí)現(xiàn)了對(duì)崗位信息的保存，為后續(xù)的查看使用提供便利。關(guān)鍵詞：Python；網(wǎng)絡(luò)爬蟲(chóng)；數(shù)據(jù)解析中圖分類號(hào)：TP311? ? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2023）06-0085-04Design and Implementation
現(xiàn)代信息科技 2023年6期2023-06-25
- 基于Python爬蟲(chóng)技術(shù)的高校網(wǎng)絡(luò)輿情數(shù)據(jù)分析研究
Python網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的實(shí)現(xiàn)原理，爬取貼吧內(nèi)的文本數(shù)據(jù)，利用分詞、詞頻統(tǒng)計(jì)、詞云圖制作等技術(shù)進(jìn)行數(shù)據(jù)分析，提出輿情結(jié)論和研究展望，為校園相關(guān)部門輿情引導(dǎo)提供幫助和新的思路。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng)；Python；輿情中圖分類號(hào)：TP391? ? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2023）05-0106-04Analysis and Research of University Network Public Opinion Data Based o
現(xiàn)代信息科技 2023年5期2023-06-22
- 基于Jsoup爬蟲(chóng)的BOSS直聘信息爬取
取Jsoup網(wǎng)絡(luò)爬蟲(chóng)技術(shù)，爬取了BOSS直聘網(wǎng)站中天津市的Java崗位信息，并使用POI技術(shù)將崗位中的重要信息經(jīng)過(guò)數(shù)據(jù)處理保存為本地Excel文件，便于求職者直觀地對(duì)所搜索的崗位進(jìn)行篩選判斷，具有良好的實(shí)用價(jià)值。關(guān)鍵詞：Jsoup；網(wǎng)絡(luò)爬蟲(chóng)；Boss直聘中圖分類號(hào)： TP392? 文獻(xiàn)標(biāo)志碼：A0 引言隨著互聯(lián)網(wǎng)的迅猛發(fā)展，就業(yè)方式已由傳統(tǒng)的線下招聘逐步轉(zhuǎn)變?yōu)楦咝Э旖莸木W(wǎng)絡(luò)求職，通過(guò)各類招聘網(wǎng)站尋找崗位成為人們求職的主要方式，其中，BOSS直聘憑借其獨(dú)創(chuàng)的
無(wú)線互聯(lián)科技 2023年2期2023-06-15
- 一種利用網(wǎng)絡(luò)爬蟲(chóng)技術(shù)提高多語(yǔ)種術(shù)語(yǔ)庫(kù)校審效率的方法
章提出了一種網(wǎng)絡(luò)爬蟲(chóng)技術(shù)在多語(yǔ)種術(shù)語(yǔ)庫(kù)校審中的應(yīng)用方法，并介紹了網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的概念、原理、分類、特點(diǎn)，詳細(xì)闡述了該技術(shù)在多語(yǔ)種術(shù)語(yǔ)庫(kù)校審中的應(yīng)用實(shí)踐，最后對(duì)網(wǎng)絡(luò)爬蟲(chóng)技術(shù)在翻譯和情報(bào)專業(yè)領(lǐng)域的應(yīng)用進(jìn)行了展望。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng)??多語(yǔ)種術(shù)語(yǔ)庫(kù)??校審??多語(yǔ)種智能翻譯系統(tǒng)中圖分類號(hào)：TP393.09????文獻(xiàn)標(biāo)識(shí)碼：AA?method?for?Improving?the?Efficiency?of?Proofreading?MultilingualTermi
科技資訊 2023年8期2023-05-24
- 基于大數(shù)據(jù)的網(wǎng)絡(luò)數(shù)據(jù)采集研究與實(shí)踐
；數(shù)據(jù)采集；網(wǎng)絡(luò)爬蟲(chóng)中圖分類號(hào)：TP319 文獻(xiàn)標(biāo)識(shí)碼：A1引言（Introduction）數(shù)據(jù)對(duì)企業(yè)經(jīng)營(yíng)、政府決策、社會(huì)動(dòng)態(tài)分析等起著極其重要的作用，如何大規(guī)模、快速地采集數(shù)據(jù)已成為有效提取數(shù)據(jù)價(jià)值的先決條件，數(shù)據(jù)采集的效率直接決定了數(shù)據(jù)的有效性和及時(shí)性。在大數(shù)據(jù)時(shí)代背景下，如何從大數(shù)據(jù)中采集有用的信息是大數(shù)據(jù)分析至關(guān)重要的一個(gè)環(huán)節(jié)，也是大數(shù)據(jù)分析的入口[1]。對(duì)于大多數(shù)用戶提出的與主題或領(lǐng)域相關(guān)的查詢需求，傳統(tǒng)的搜索引擎得到的結(jié)果往往不盡如人意，為了克
軟件工程 2023年4期2023-04-07
- 基于Scrapy的研招網(wǎng)碩士目錄爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)
施。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng);Scrapy;Python;反反爬;研招網(wǎng)中圖分類號(hào)：TP311.11? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044（2022）17-0053-031 引言隨著信息技術(shù)與互聯(lián)網(wǎng)的發(fā)展，人們幾乎在生活中每時(shí)每刻都在產(chǎn)生著數(shù)據(jù)也不斷在獲取數(shù)據(jù)，但是由于互聯(lián)網(wǎng)的網(wǎng)狀結(jié)構(gòu)是數(shù)據(jù)零零散散地發(fā)布在不同的區(qū)域，很難實(shí)現(xiàn)數(shù)據(jù)系統(tǒng)化結(jié)構(gòu)化的有效利用。人們繼續(xù)采用以往的常規(guī)方式去收集數(shù)據(jù)的話，不僅速度慢而且效率低，由此網(wǎng)絡(luò)爬蟲(chóng)技術(shù)就誕生了。網(wǎng)絡(luò)爬
電腦知識(shí)與技術(shù) 2022年17期2022-08-31
- 招聘數(shù)據(jù)可視化分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
能模塊。通過(guò)網(wǎng)絡(luò)爬蟲(chóng)爬取到的招聘數(shù)據(jù)，經(jīng)預(yù)處理和分析之后，將學(xué)歷、熱門職位、福利待遇及技能要求等進(jìn)行可視化展示，采用基于用戶的協(xié)同過(guò)濾算法對(duì)職位進(jìn)行推薦并實(shí)現(xiàn)動(dòng)態(tài)更新。在一定程度上可幫助求職者了解目前的社會(huì)人才招聘需求，快速找準(zhǔn)自身定位。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng);招聘數(shù)據(jù);協(xié)同過(guò)濾;可視化分析中圖分類號(hào)：TP311? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044（2022）18-0039-03開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：1 引言隨著國(guó)內(nèi)互聯(lián)網(wǎng)行業(yè)的飛速發(fā)
電腦知識(shí)與技術(shù) 2022年18期2022-08-31
- 湖北省潛江市小龍蝦產(chǎn)業(yè)知識(shí)圖譜關(guān)鍵技術(shù)研究
;知識(shí)圖譜;網(wǎng)絡(luò)爬蟲(chóng);數(shù)據(jù)可視化0 引 言湖北潛江市漁業(yè)養(yǎng)殖近幾年來(lái)不斷發(fā)展，整體產(chǎn)業(yè)規(guī)模不斷增大，養(yǎng)殖面積不斷提高，主產(chǎn)區(qū)明顯聚焦，產(chǎn)量快速增長(zhǎng)，同時(shí)，養(yǎng)殖戶所面臨的技術(shù)問(wèn)題也越來(lái)越復(fù)雜，潛江小龍蝦在養(yǎng)殖的過(guò)程中所需要的養(yǎng)殖技術(shù)、面臨的病害難癥如果不能被及時(shí)解決，即使每年高校有大量水產(chǎn)專業(yè)的畢業(yè)生會(huì)去往潛江養(yǎng)殖基地就業(yè)，但是應(yīng)屆生技術(shù)經(jīng)驗(yàn)薄弱，之前在校的實(shí)踐機(jī)遇比較少，書(shū)本上的知識(shí)更新速度是跟不上養(yǎng)殖的大環(huán)境發(fā)展的速度的，這樣能夠指導(dǎo)養(yǎng)殖的人才是比較欠缺
科學(xué)與財(cái)富 2022年2期2022-06-06
- 湖北省潛江市小龍蝦產(chǎn)業(yè)知識(shí)圖譜關(guān)鍵技術(shù)研究
;知識(shí)圖譜;網(wǎng)絡(luò)爬蟲(chóng);數(shù)據(jù)可視化0 引 言湖北潛江市漁業(yè)養(yǎng)殖近幾年來(lái)不斷發(fā)展，整體產(chǎn)業(yè)規(guī)模不斷增大，養(yǎng)殖面積不斷提高，主產(chǎn)區(qū)明顯聚焦，產(chǎn)量快速增長(zhǎng)，同時(shí)，養(yǎng)殖戶所面臨的技術(shù)問(wèn)題也越來(lái)越復(fù)雜，潛江小龍蝦在養(yǎng)殖的過(guò)程中所需要的養(yǎng)殖技術(shù)、面臨的病害難癥如果不能被及時(shí)解決，即使每年高校有大量水產(chǎn)專業(yè)的畢業(yè)生會(huì)去往潛江養(yǎng)殖基地就業(yè)，但是應(yīng)屆生技術(shù)經(jīng)驗(yàn)薄弱，之前在校的實(shí)踐機(jī)遇比較少，書(shū)本上的知識(shí)更新速度是跟不上養(yǎng)殖的大環(huán)境發(fā)展的速度的，這樣能夠指導(dǎo)養(yǎng)殖的人才是比較欠缺
科學(xué)與財(cái)富 2022年2期2022-06-06
- 基于Java多線程的智能圖片爬蟲(chóng)系統(tǒng)的研究與實(shí)現(xiàn)
統(tǒng)。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng);多線程;HttpClient;JSoup;WebMagic中圖分類號(hào)：TP18? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044（2022）22-0055-031 引言隨著人工智能領(lǐng)域的不斷發(fā)展，誕生了許多分支研究。不管是語(yǔ)音處理，圖像識(shí)別，還是自然語(yǔ)言處理，都面臨著需要大量數(shù)據(jù)集的問(wèn)題，人工收集數(shù)據(jù)需花費(fèi)大量的時(shí)間與精力。解決這一問(wèn)題的技術(shù)就是爬蟲(chóng)技術(shù)，因此爬蟲(chóng)技術(shù)也成為獲取數(shù)據(jù)集的重要工具。對(duì)于傳統(tǒng)的爬蟲(chóng)來(lái)說(shuō)，爬取得到的數(shù)據(jù)集
電腦知識(shí)與技術(shù) 2022年22期2022-05-30
- 基于文本挖掘的Android相關(guān)人才招聘崗位數(shù)據(jù)分析
要：本文通過(guò)網(wǎng)絡(luò)爬蟲(chóng)獲取招聘網(wǎng)站的詳細(xì)招聘信息，通過(guò)數(shù)據(jù)庫(kù)對(duì)爬取的信息進(jìn)行清洗和標(biāo)準(zhǔn)化等預(yù)處理操作。然后使用jieba分詞對(duì)招聘信息進(jìn)行文本分析，將分詞后的招聘崗位關(guān)鍵詞按照性質(zhì)分為崗位、級(jí)別、領(lǐng)域、方向、職責(zé)等五大類，而將崗位技能要求分為年限、領(lǐng)域、方向、職責(zé)等四大類，最后結(jié)合關(guān)聯(lián)算法對(duì)招聘信息進(jìn)行關(guān)聯(lián)分析和數(shù)據(jù)挖掘，獲取崗位名稱、崗位技能要求與招聘單位的規(guī)模、性質(zhì)、待遇等相關(guān)要素的關(guān)系。通過(guò)生成的數(shù)學(xué)模型可以更好地了解Android相關(guān)崗位的具體技能要
電腦知識(shí)與技術(shù) 2022年21期2022-05-30
- 基于網(wǎng)絡(luò)爬蟲(chóng)和社會(huì)網(wǎng)絡(luò)分析的嗶哩嗶哩用戶關(guān)注行為研究
要：文章利用網(wǎng)絡(luò)爬蟲(chóng)，通過(guò)“滾雪球”的方法在嗶哩嗶哩官網(wǎng)爬取了42位百萬(wàn)粉絲以上的up主的關(guān)注列表，經(jīng)提取和整理，將其繪制成42x42的up主關(guān)注矩陣，并利用社會(huì)網(wǎng)絡(luò)分析法和Ucinet軟件對(duì)其進(jìn)行了密度和意見(jiàn)領(lǐng)袖分析。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng);社會(huì)網(wǎng)絡(luò)分析;意見(jiàn)領(lǐng)袖;嗶哩嗶哩中圖法分類號(hào)：G25文獻(xiàn)標(biāo)識(shí)碼：AResearch on user attention behavior of bilibili based onWeb crawler and social
計(jì)算機(jī)應(yīng)用文摘·觸控 2022年15期2022-05-30
- 基于網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的元宇宙評(píng)論文本挖掘分析
刻影響。利用網(wǎng)絡(luò)爬蟲(chóng)技術(shù)對(duì)Bilibili視頻彈幕網(wǎng)站上的274個(gè)元宇宙相關(guān)視頻頁(yè)面進(jìn)行爬取并得到3 070條評(píng)論，通過(guò)對(duì)所得評(píng)論進(jìn)行文本詞頻分析、構(gòu)建詞云圖、共詞分析、社會(huì)網(wǎng)絡(luò)和語(yǔ)義網(wǎng)絡(luò)分析以及情感分析，發(fā)現(xiàn)Z世代用戶對(duì)元宇宙這一概念擁有基本認(rèn)知；元宇宙在游戲領(lǐng)域的應(yīng)用備受Z世代用戶關(guān)注；大量用戶認(rèn)為元宇宙是資本套利的工具，將對(duì)個(gè)人與社會(huì)產(chǎn)生消極影響；部分用戶對(duì)元宇宙相關(guān)技術(shù)的實(shí)現(xiàn)持懷疑態(tài)度。以上結(jié)論揭示了Z世代用戶對(duì)元宇宙這一新技術(shù)的感受和評(píng)價(jià)，對(duì)元宇
計(jì)算機(jī)與網(wǎng)絡(luò) 2022年5期2022-05-01
- 基于網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的生鮮宅配顧客感知服務(wù)質(zhì)量影響因素研究
要：文章使用網(wǎng)絡(luò)爬蟲(chóng)工具，從電商網(wǎng)站上抓取了5種生鮮食品的顧客評(píng)價(jià)信息4 480條，通過(guò)EXCEL工具結(jié)合手工梳理分析，厘清了影響生鮮宅配顧客感知服務(wù)質(zhì)量的三大因素，即貨物的完好程度、物流包裝及物流時(shí)效。通過(guò)數(shù)據(jù)分析得出結(jié)論：針對(duì)不同類型的生鮮食品，顧客關(guān)注的配送質(zhì)量側(cè)重點(diǎn)差異比較明顯;另外，三大因素之間是相互影響的，貨物的完好程度與運(yùn)輸時(shí)效以及運(yùn)輸包裝形式直接相關(guān)，包裝的完好程度、包裝方式以及安全環(huán)保性在很大程度上影響了貨物的完好程度，物流時(shí)效在一定程度
物流科技 2022年3期2022-04-16
- 基于Python的網(wǎng)頁(yè)數(shù)據(jù)爬取與可視化分析
Python網(wǎng)絡(luò)爬蟲(chóng)的相關(guān)知識(shí)，其次運(yùn)用Requests和BeautifulSoup爬取旅游景點(diǎn)信息，并運(yùn)用Excel和Tableau對(duì)數(shù)據(jù)進(jìn)行分析，將分析結(jié)果進(jìn)行可視化呈現(xiàn)，得出有關(guān)旅游景點(diǎn)價(jià)格、銷量、地區(qū)分布等方面的結(jié)論，為用戶合理選擇相關(guān)景點(diǎn)提供了建議。關(guān)鍵詞：Python;網(wǎng)絡(luò)爬蟲(chóng);可視化分析中圖分類號(hào)：G642? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044（2022）06-0024-03開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：1 概述
電腦知識(shí)與技術(shù) 2022年6期2022-04-09
- 一種醫(yī)生推薦的爬蟲(chóng)設(shè)計(jì)程序
ython;網(wǎng)絡(luò)爬蟲(chóng);數(shù)據(jù)分析;數(shù)據(jù)可視化;熱力圖中圖分類號(hào)：TP393? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044（2022）01-0020-031 引言?隨著對(duì)科技領(lǐng)域的深入研究，接收信息的科技手段不斷創(chuàng)新，人們每天接收著海量信息，繁雜的信息與緊張的時(shí)間碰撞，由此，在短暫的時(shí)間內(nèi)找到有價(jià)值的信息才能更好地利用信息為人們服務(wù)。通過(guò)采用爬蟲(chóng)、數(shù)據(jù)分析技術(shù)，將數(shù)據(jù)入庫(kù)進(jìn)行壓縮過(guò)濾，進(jìn)而通過(guò)數(shù)據(jù)可視化生成一個(gè)顯而易見(jiàn)的熱力圖，再對(duì)各個(gè)科室的醫(yī)生進(jìn)
電腦知識(shí)與技術(shù) 2022年1期2022-03-11
- 視頻網(wǎng)站評(píng)論數(shù)據(jù)處理及分析
站為例，通過(guò)網(wǎng)絡(luò)爬蟲(chóng)收集數(shù)據(jù)，利用大數(shù)據(jù)相關(guān)技術(shù)，對(duì)評(píng)論數(shù)據(jù)進(jìn)行處理分析，并以詞云圖及散點(diǎn)圖的方式呈現(xiàn)用戶的關(guān)注點(diǎn)及語(yǔ)言表達(dá)的差異性，直觀地為相關(guān)研究提供參考。關(guān)鍵詞： 網(wǎng)絡(luò)爬蟲(chóng); 大數(shù)據(jù); 評(píng)論數(shù)據(jù); 詞云圖; 散點(diǎn)圖中圖分類號(hào)：TP311? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2022）02-76-04Processing and analysis of the video website comments data—
計(jì)算機(jī)時(shí)代 2022年2期2022-02-24
- 數(shù)據(jù)挖掘技術(shù)在發(fā)掘?qū)徲?jì)規(guī)律中的應(yīng)用研究
，文章以主題網(wǎng)絡(luò)爬蟲(chóng)和數(shù)據(jù)可視化分析技術(shù)為基礎(chǔ)，設(shè)計(jì)了審計(jì)大數(shù)據(jù)采集分析框架，而后以軍隊(duì)采購(gòu)網(wǎng)為對(duì)象進(jìn)行實(shí)例分析，挖掘軍隊(duì)招標(biāo)采購(gòu)中易發(fā)、頻發(fā)問(wèn)題的規(guī)律，為今后審計(jì)工作實(shí)現(xiàn)“精確制導(dǎo)”提供有力支撐，充分展示大數(shù)據(jù)信息技術(shù)在提升審計(jì)效率，助力審計(jì)高質(zhì)量創(chuàng)新發(fā)展具有重要意義。 關(guān)鍵詞：大數(shù)據(jù)審計(jì) 網(wǎng)絡(luò)爬蟲(chóng) 數(shù)據(jù)可視化 審計(jì)規(guī)律 中圖分類號(hào)：F239.1 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1004-4914（2022）01-115-02 大數(shù)據(jù)審計(jì)的總體思路是“總
經(jīng)濟(jì)師 2022年1期2022-02-22
- 一種動(dòng)員潛力數(shù)據(jù)增量更新技術(shù)方法研究
據(jù)源的可持續(xù)網(wǎng)絡(luò)爬蟲(chóng)方法，提出了基于基態(tài)修正的動(dòng)員潛力數(shù)據(jù)增量更新方法。結(jié)果表明：該方法可快速有效的開(kāi)展動(dòng)員潛力數(shù)據(jù)增量更新。關(guān)鍵詞：動(dòng)員潛力、增量更新、網(wǎng)絡(luò)爬蟲(chóng)、基態(tài)修正引言騰訊、高德、百度等LBS日均支持服務(wù)請(qǐng)求已達(dá)千億次，每天為用戶提供百億次POI檢索服務(wù)。龐大的用戶體量和全面多維的位置數(shù)據(jù)，賦予了互聯(lián)網(wǎng)動(dòng)員潛力數(shù)據(jù)較高的現(xiàn)勢(shì)性。如何有效的從互聯(lián)網(wǎng)中獲取到所需的動(dòng)員潛力數(shù)據(jù)，仍是一個(gè)技術(shù)研究的熱點(diǎn)問(wèn)題。本研究利用檢索詞搜索的網(wǎng)絡(luò)爬蟲(chóng)方法對(duì)電子地圖中的
科技信息·學(xué)術(shù)版 2021年4期2021-12-30
- 大數(shù)據(jù)時(shí)代下網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的研究與應(yīng)用
問(wèn)題，此時(shí)，網(wǎng)絡(luò)爬蟲(chóng)技術(shù)顯示出了它的優(yōu)勢(shì)。目前，國(guó)內(nèi)外普遍使用的搜索引擎其實(shí)就是一種網(wǎng)絡(luò)爬蟲(chóng)。網(wǎng)絡(luò)爬蟲(chóng)通常僅僅下載網(wǎng)頁(yè)內(nèi)容的一部分，但是人們都希望下載的部分包括最多的相關(guān)頁(yè)面，而不僅僅是一個(gè)隨機(jī)的簡(jiǎn)單的站點(diǎn)。這就要求一個(gè)公共標(biāo)準(zhǔn)來(lái)區(qū)分網(wǎng)頁(yè)的重要程度，這不僅與網(wǎng)頁(yè)本身內(nèi)容有關(guān)，與包含鏈接個(gè)數(shù)、訪問(wèn)數(shù)量等都有一定關(guān)系。而且這些爬蟲(chóng)程序大多都是后臺(tái)保密的，因此大數(shù)據(jù)時(shí)代更加迫切的需要能夠根據(jù)不同用戶的不同需求設(shè)計(jì)出擁有有效搜索策略的網(wǎng)絡(luò)爬蟲(chóng)。本文根據(jù)大數(shù)據(jù)時(shí)代下
科學(xué)與生活 2021年22期2021-12-27
- 智能課程思政教學(xué)素材管理系統(tǒng)的設(shè)計(jì)與研發(fā)
息管理系統(tǒng);網(wǎng)絡(luò)爬蟲(chóng);標(biāo)簽提取;智能推薦中圖分類號(hào)：TP311 ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044（2021）31-0082-031 引言青年大學(xué)生肩負(fù)著國(guó)家和民族的希望和未來(lái)，如何更好地開(kāi)展高校思想政治教育工作，培養(yǎng)德才兼?zhèn)?、又紅又專的建設(shè)者和接班人，不僅僅是專職思想政治理論課教師，更是所有高校教師需要認(rèn)真思索和考慮的一個(gè)重要問(wèn)題。2016年12月，習(xí)近平在全國(guó)高校思想政治工作會(huì)議上指出：要堅(jiān)持把立德樹(shù)人作為中心環(huán)節(jié)，把思想政治工作
電腦知識(shí)與技術(shù) 2021年31期2021-12-18
- 基于爬蟲(chóng)技術(shù)的電影評(píng)論信息獲取及可視化設(shè)計(jì)
息。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng);可視化設(shè)計(jì);電影評(píng)論中圖分類號(hào)：TP391.3 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1003-5168（2021）18-0014-03Abstract： Watching movies is an important leisure way for modern people to relax their body and mind and obtain spiritual comfort after busy work a
河南科技 2021年18期2021-12-16
- 基于爬蟲(chóng)技術(shù)的電影評(píng)論信息獲取及可視化設(shè)計(jì)
息。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng);可視化設(shè)計(jì);電影評(píng)論中圖分類號(hào)：TP391.3 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1003-5168（2021）18-0014-03Abstract： Watching movies is an important leisure way for modern people to relax their body and mind and obtain spiritual comfort after busy work a
河南科技 2021年18期2021-12-16
- 網(wǎng)絡(luò)爬蟲(chóng)技術(shù)濫用的刑事責(zé)任
愛(ài)強(qiáng)摘 要：網(wǎng)絡(luò)爬蟲(chóng)是高效收集、分類、整理海量網(wǎng)絡(luò)信息的程序或者腳本，具有很高的實(shí)用價(jià)值。但當(dāng)網(wǎng)絡(luò)爬蟲(chóng)使用者為了獲取經(jīng)濟(jì)利益，將其作為犯罪工具，嚴(yán)重?cái)_亂計(jì)算機(jī)信息系統(tǒng)的運(yùn)行秩序，會(huì)構(gòu)成計(jì)算機(jī)相關(guān)犯罪，同時(shí)網(wǎng)絡(luò)爬蟲(chóng)具有收集信息的功能，可能會(huì)侵害到公民個(gè)人信息等多種法益。網(wǎng)絡(luò)爬蟲(chóng)技術(shù)濫用的行為一旦已經(jīng)達(dá)到相關(guān)司法解釋立案追訴的標(biāo)準(zhǔn)，就應(yīng)當(dāng)依照相關(guān)規(guī)定追究行為主體的刑事責(zé)任。應(yīng)將違法所得和經(jīng)濟(jì)損失作為“情節(jié)嚴(yán)重”的認(rèn)定依據(jù)。在審查方法上，要厘清相關(guān)行為，明確因果
中國(guó)檢察官·經(jīng)典案例 2021年9期2021-11-29
- Python環(huán)境下金融交易數(shù)據(jù)的API調(diào)用
分析對(duì)比其與網(wǎng)絡(luò)爬蟲(chóng)數(shù)據(jù)調(diào)用方法的異同。由于單獨(dú)使用網(wǎng)絡(luò)爬蟲(chóng)或API調(diào)用不能完成數(shù)據(jù)準(zhǔn)確完整的調(diào)用。因此，提出一種API調(diào)用和網(wǎng)絡(luò)爬蟲(chóng)相結(jié)合的方法，從而解決API調(diào)用數(shù)據(jù)次數(shù)受限，網(wǎng)絡(luò)爬蟲(chóng)調(diào)用數(shù)據(jù)過(guò)程復(fù)雜等問(wèn)題，綜合兩種方法的優(yōu)點(diǎn)以實(shí)現(xiàn)數(shù)據(jù)高效完整的獲取。關(guān)鍵詞：API;API調(diào)用;數(shù)據(jù)獲取;網(wǎng)絡(luò)爬蟲(chóng)19世紀(jì)70年代，Digital Research公司創(chuàng)造出了世界上第一個(gè)實(shí)用的軟件API（Application Programming Interface
中國(guó)集體經(jīng)濟(jì) 2021年36期2021-11-28
- 基于網(wǎng)絡(luò)爬蟲(chóng)的青花瓷文物圖像數(shù)據(jù)集設(shè)計(jì)與構(gòu)建
便。該文利用網(wǎng)絡(luò)爬蟲(chóng)技術(shù)在故宮博物院官網(wǎng)批量獲取不同年代的青花瓷文物圖像，大大提高工作效率，然后對(duì)獲取的文物圖像進(jìn)行全方位的分析和處理，為用戶之后進(jìn)行不同年代的青花瓷圖像分類提供數(shù)據(jù)源。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng)? ?青花瓷文物? ?數(shù)據(jù)裁剪? ?數(shù)據(jù)增強(qiáng)? ?數(shù)據(jù)集構(gòu)建中圖分類號(hào)：TP391.41? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-3791（2021）08（a）-0015-04Design and Construction
科技資訊 2021年22期2021-11-27
- 基于網(wǎng)絡(luò)爬蟲(chóng)和大數(shù)據(jù)分析的智能租房推薦研究
題。通過(guò)采用網(wǎng)絡(luò)爬蟲(chóng)和大數(shù)據(jù)分析等技術(shù)構(gòu)建智能租房推薦模型，可以解決第三方租房網(wǎng)站平臺(tái)和需要租房的消費(fèi)者雙方共同的痛點(diǎn)，促使兩者最終達(dá)成滿意交易。本文以解決案例的形式印證了智能租房推薦模型的有效性，可以幫助租客推薦到合適房源，并為租客做出最終決策提供支持。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng);數(shù)據(jù)分析;智能租房;推薦模型1 引言1.1 國(guó)內(nèi)住房租賃現(xiàn)狀近幾年，國(guó)內(nèi)住房租賃市場(chǎng)進(jìn)入全新的發(fā)展階段，房屋租賃越來(lái)越受到廣泛的關(guān)注。站在第三方租賃網(wǎng)站平臺(tái)角度，如何合理制定房源租賃價(jià)格
科技信息·學(xué)術(shù)版 2021年24期2021-11-15
- 網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的理性思考及多元規(guī)制方法
不鮮。這使得網(wǎng)絡(luò)爬蟲(chóng)行為的規(guī)制問(wèn)題更具研究意義。然而，當(dāng)前學(xué)界對(duì)爬蟲(chóng)技術(shù)的應(yīng)用存在一定的認(rèn)知偏差，并過(guò)于夸大了法律規(guī)范的社會(huì)效果。對(duì)此，文章期望通過(guò)加強(qiáng)有關(guān)法律的體系整合、明確相關(guān)監(jiān)管機(jī)構(gòu)的權(quán)限劃分、健全國(guó)家級(jí)數(shù)據(jù)中心群與數(shù)據(jù)共享網(wǎng)絡(luò)、以及加強(qiáng)數(shù)據(jù)行業(yè)協(xié)商性“立法”的多元規(guī)制方法，促進(jìn)數(shù)據(jù)產(chǎn)業(yè)的健康發(fā)展。關(guān)鍵詞： 大數(shù)據(jù); 網(wǎng)絡(luò)爬蟲(chóng); 數(shù)據(jù)爬取行為; 多元規(guī)制方法中圖分類號(hào)：DF626? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228
計(jì)算機(jī)時(shí)代 2021年10期2021-10-24
- 基于Python的住房公積金輿情信息獲取與分析
據(jù)。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng);Python;輿情分析;數(shù)據(jù)采集;可視化分析0引言當(dāng)前，伴隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展與網(wǎng)絡(luò)民意表達(dá)的日漸主流化，網(wǎng)絡(luò)輿情已越來(lái)越成為中國(guó)社會(huì)傳遞社情民意的一支重要力量。本研究在對(duì)安居客中安康公積金網(wǎng)上問(wèn)答網(wǎng)頁(yè)進(jìn)行爬取的基礎(chǔ)上，結(jié)合Python文本分析，通過(guò)分析可以了解民眾所關(guān)心的安康公積金熱點(diǎn)話題，有效監(jiān)控輿情動(dòng)態(tài)。為安康市住房公積金中心進(jìn)一步提高服務(wù)質(zhì)量增加有力的幫助。該方案，不但在獲取民意的真實(shí)性和廣泛性上有優(yōu)勢(shì)，而且在新冠疫情時(shí)期
科技信息·學(xué)術(shù)版 2021年12期2021-10-22
- 基于網(wǎng)絡(luò)爬蟲(chóng)的“三農(nóng)”網(wǎng)絡(luò)直播信息分析
型。本文基于網(wǎng)絡(luò)爬蟲(chóng)分析網(wǎng)絡(luò)直播在“三農(nóng)”領(lǐng)域的應(yīng)用現(xiàn)狀，為網(wǎng)絡(luò)直播在農(nóng)村電商的應(yīng)用提供現(xiàn)實(shí)依據(jù)。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng);三農(nóng);網(wǎng)絡(luò)直播使用八爪魚(yú)采集器軟件在百度新聞、今日頭條等網(wǎng)頁(yè)采集“三農(nóng)”網(wǎng)絡(luò)直播相關(guān)信息，對(duì)采集的數(shù)據(jù)進(jìn)行匯總，對(duì)網(wǎng)絡(luò)直播在“三農(nóng)”領(lǐng)域的應(yīng)用現(xiàn)狀進(jìn)行詳細(xì)的分析，分析網(wǎng)絡(luò)直播在“三農(nóng)”領(lǐng)域所起到的作用和存在哪些問(wèn)題。一、網(wǎng)頁(yè)信息采集結(jié)果從相關(guān)網(wǎng)站頁(yè)面上采集了817條涉及“三農(nóng)”網(wǎng)絡(luò)直播相關(guān)網(wǎng)頁(yè)信息，摘抄通過(guò)網(wǎng)絡(luò)直播銷售農(nóng)產(chǎn)品見(jiàn)表1，通過(guò)網(wǎng)絡(luò)直
商場(chǎng)現(xiàn)代化 2021年16期2021-10-21
- 基于Python的住房公積金輿情信息獲取與分析
據(jù)。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng);Python;輿情分析;數(shù)據(jù)采集;可視化分析0引言當(dāng)前，伴隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展與網(wǎng)絡(luò)民意表達(dá)的日漸主流化，網(wǎng)絡(luò)輿情已越來(lái)越成為中國(guó)社會(huì)傳遞社情民意的一支重要力量。本研究在對(duì)安居客中安康公積金網(wǎng)上問(wèn)答網(wǎng)頁(yè)進(jìn)行爬取的基礎(chǔ)上，結(jié)合Python文本分析，通過(guò)分析可以了解民眾所關(guān)心的安康公積金熱點(diǎn)話題，有效監(jiān)控輿情動(dòng)態(tài)。為安康市住房公積金中心進(jìn)一步提高服務(wù)質(zhì)量增加有力的幫助。該方案，不但在獲取民意的真實(shí)性和廣泛性上有優(yōu)勢(shì)，而且在新冠疫情時(shí)期
科技信息·學(xué)術(shù)版 2021年11期2021-10-13
- 評(píng)價(jià)理論視角下中國(guó)國(guó)家形象網(wǎng)絡(luò)媒體話語(yǔ)建構(gòu)
語(yǔ)料庫(kù)分析;網(wǎng)絡(luò)爬蟲(chóng)中圖分類號(hào)：H315文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2095-6916（2021）17-0146-06一、引言隨著新冠肺炎疫情的全球性大流行，社交媒體上涌現(xiàn)海量的疫情信息。由于網(wǎng)絡(luò)社交媒體的特殊性和西方國(guó)家別有用心的政客、媒體的渲染，污名化中國(guó)的虛假疫情信息在網(wǎng)絡(luò)上不脛而走且呈爆炸性增長(zhǎng)之勢(shì)。推特作為西方國(guó)家使用最廣泛的網(wǎng)絡(luò)媒介，具有時(shí)效性強(qiáng)、受眾廣的特點(diǎn)，其傳播的信息對(duì)展現(xiàn)國(guó)家形象有重要意義。本文采取量化研究、語(yǔ)料庫(kù)分析等方法，從評(píng)價(jià)理論視角
西部學(xué)刊 2021年17期2021-10-08
- 基于scrapy框架下網(wǎng)絡(luò)爬蟲(chóng)的開(kāi)發(fā)與實(shí)現(xiàn)
，然后介紹了網(wǎng)絡(luò)爬蟲(chóng)的流程，并說(shuō)明了爬蟲(chóng)程序的設(shè)計(jì)與實(shí)現(xiàn)的基本流程?；谶@些技術(shù)，本文設(shè)計(jì)實(shí)現(xiàn)了基于Scrapy框架下的網(wǎng)絡(luò)爬蟲(chóng)。本文給出了網(wǎng)絡(luò)爬蟲(chóng)的主要流程，以及主要的模塊，包括item模塊、spider模塊以及scheduler模塊。并且，本文對(duì)網(wǎng)絡(luò)爬蟲(chóng)的具體實(shí)現(xiàn)進(jìn)行了介紹，包括UA的實(shí)現(xiàn)、頁(yè)面抓取的實(shí)現(xiàn)、數(shù)據(jù)提取的實(shí)現(xiàn)等。最后，本設(shè)計(jì)在Linux操作系統(tǒng)下進(jìn)行了相關(guān)測(cè)試。對(duì)網(wǎng)絡(luò)爬蟲(chóng)的功能和性能進(jìn)行了測(cè)試，爬蟲(chóng)的運(yùn)行總體來(lái)說(shuō)較為順利，且對(duì)電腦性能的要求
電腦知識(shí)與技術(shù) 2021年23期2021-09-24
- 基于微博平臺(tái)的用戶評(píng)論數(shù)據(jù)采集
析對(duì)比常用的網(wǎng)絡(luò)爬蟲(chóng)技術(shù)和框架，分別使用Selenium框架和Json數(shù)據(jù)接口兩種方法，采集新浪微博熱點(diǎn)事件下的用戶評(píng)論數(shù)據(jù)。一般網(wǎng)絡(luò)爬蟲(chóng)技術(shù)多使用廣度搜索，這里采用深度搜索，能夠更精確地獲得某個(gè)熱點(diǎn)事件下的用戶評(píng)論數(shù)據(jù)。關(guān)鍵詞：數(shù)據(jù)挖掘? 微博? 用戶評(píng)論? 網(wǎng)絡(luò)爬蟲(chóng)? Selenium? Json中圖分類號(hào)：TP393.09;TP274.2? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1674-098X（2021）05（b）-0132-05Data Col
科技創(chuàng)新導(dǎo)報(bào) 2021年14期2021-09-16
- 基于文本挖掘的鴻蒙系統(tǒng)用戶評(píng)論情感分析與研究
反響。該文以網(wǎng)絡(luò)爬蟲(chóng)抓取的用戶評(píng)論為例，基于評(píng)論數(shù)據(jù)建立評(píng)估模型，主要使用文本描述性分析、SnowNlp情感分析和LDA潛在主題挖掘這3種方法，從不同角度對(duì)用戶評(píng)論進(jìn)行文本挖掘分析，找出評(píng)論大數(shù)據(jù)背后隱含的情感傾向、用戶觀點(diǎn)等深層信息，有助于企業(yè)了解用戶的使用體驗(yàn)與口碑動(dòng)態(tài)。該文分析模型的評(píng)估效果可信度較高，所采用的研究方法也適用于電商評(píng)論分析、社會(huì)輿情分析等方面。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng)? ?情感分析? ?LDA? ?文本挖掘中圖分類號(hào)：TP391.1? ? ?
科技資訊 2021年16期2021-09-13
- 基于網(wǎng)絡(luò)爬蟲(chóng)的單詞翻譯器設(shè)計(jì)與研究
機(jī)器學(xué)習(xí)中的網(wǎng)絡(luò)爬蟲(chóng)技術(shù)提出了一種單詞翻譯器的設(shè)計(jì)與研究流程。首先，該文對(duì)Iciba網(wǎng)站進(jìn)行爬蟲(chóng)，經(jīng)過(guò)前期url分析，編寫定向頁(yè)面requests爬蟲(chóng)，得到單詞釋義和例句。其次，通過(guò)一個(gè)查詢單詞的通用程序框架，編寫requests定向爬蟲(chóng)，實(shí)時(shí)獲得最新的詞語(yǔ)解釋和例句。最后，該文設(shè)計(jì)了一個(gè)GUI窗體界面，用于展示相關(guān)結(jié)果，具有較好的實(shí)用性和有效性。該文提出的研究方法是機(jī)器學(xué)習(xí)相關(guān)研究領(lǐng)域的一個(gè)擴(kuò)充，且該研究結(jié)果給教育相關(guān)領(lǐng)域提供了一個(gè)有效的應(yīng)用產(chǎn)品。關(guān)鍵詞
科技資訊 2021年16期2021-09-13
- 網(wǎng)絡(luò)爬蟲(chóng)在擬在工程項(xiàng)目數(shù)據(jù)分析中的應(yīng)用
耀祖關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng);工程項(xiàng)目;數(shù)據(jù)分析一、緒論工程項(xiàng)目建設(shè)是社會(huì)經(jīng)濟(jì)活動(dòng)的重要組成部分，反映社會(huì)基礎(chǔ)建設(shè)資金投入方向，如果一段時(shí)間內(nèi)社會(huì)資金集中投向某一行業(yè)，說(shuō)明該行業(yè)處于發(fā)展上升期間，反之，則說(shuō)明該行業(yè)處于停滯甚至衰退期。因此工程項(xiàng)目建設(shè)是社會(huì)行業(yè)發(fā)展的晴雨表，甚至在一定程度上影響未來(lái)宏觀經(jīng)濟(jì)運(yùn)行趨勢(shì)，所以對(duì)擬在建工程項(xiàng)目的統(tǒng)計(jì)分析不僅對(duì)社會(huì)企業(yè)發(fā)展，而且對(duì)社會(huì)治理都具有十分重要的意義。中項(xiàng)網(wǎng)（https：//www.ecpe360.corn/）依靠健
科技風(fēng) 2021年19期2021-09-07
- 大數(shù)據(jù)與機(jī)器學(xué)習(xí)構(gòu)建動(dòng)態(tài)企業(yè)級(jí)畫(huà)像系統(tǒng)
金龍關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng);自然語(yǔ)言處理;動(dòng)態(tài)企業(yè)畫(huà)像1緒論企業(yè)級(jí)畫(huà)像系統(tǒng)是以企業(yè)為主體，通過(guò)對(duì)企業(yè)規(guī)模、經(jīng)營(yíng)范圍、公司人數(shù)、注冊(cè)資本、財(cái)務(wù)狀況、招聘狀態(tài)、最新業(yè)務(wù)動(dòng)態(tài)等信息進(jìn)行采集和分析，構(gòu)建出不同標(biāo)簽的企業(yè)畫(huà)像。企業(yè)畫(huà)像的內(nèi)容可以根據(jù)具體的應(yīng)用場(chǎng)景進(jìn)行定制化設(shè)定。企業(yè)畫(huà)像的標(biāo)簽可以是一個(gè)公司的發(fā)展階段（初創(chuàng)、成熟、衰退），可以通過(guò)財(cái)務(wù)狀況而判斷出來(lái)的公司的健康程度，亦可以是公司的發(fā)展方向等，從而為B2B業(yè)務(wù)的企業(yè)畫(huà)像提供更多維度來(lái)幫助企業(yè)進(jìn)行精準(zhǔn)營(yíng)銷，優(yōu)化推
科技風(fēng) 2021年15期2021-08-31
- 網(wǎng)絡(luò)爬蟲(chóng)獲取個(gè)人信息行為的法律規(guī)制研究
劉博摘要：網(wǎng)絡(luò)爬蟲(chóng)是依據(jù)一定算法運(yùn)行程序?qū)θf(wàn)維網(wǎng)進(jìn)行所需數(shù)據(jù)的提取技術(shù)。爬蟲(chóng)技術(shù)雖然給人們生活帶來(lái)了極大便利，但也存在惡意掠奪資源的行為，嚴(yán)重?cái)噥y了互聯(lián)網(wǎng)社會(huì)網(wǎng)絡(luò)秩序，也侵犯了公民的隱私。不正當(dāng)?shù)呐廊⌒畔⑿袨?，給企業(yè)、政府造成極大的資源浪費(fèi)，同時(shí)也威脅到公民的信息安全。所以在數(shù)據(jù)時(shí)代，我們亟需明確技術(shù)發(fā)展邊界，確定數(shù)據(jù)性質(zhì)和訪問(wèn)秩序，并運(yùn)用法律來(lái)捍衛(wèi)正當(dāng)使用信息、數(shù)據(jù)的權(quán)利。當(dāng)前應(yīng)從立法建議、政府規(guī)制和商業(yè)保護(hù)三個(gè)維度對(duì)惡意爬取行為進(jìn)行規(guī)制，結(jié)合技術(shù)發(fā)展
湖南行政學(xué)院學(xué)報(bào) 2021年4期2021-08-23
- 刑法規(guī)范視角下的網(wǎng)絡(luò)爬蟲(chóng)黑色產(chǎn)業(yè)鏈分析
昕勻摘 要：網(wǎng)絡(luò)爬蟲(chóng)黑色產(chǎn)業(yè)可以分為上中下游三類行為。上游行為是電子數(shù)據(jù)爬取的來(lái)源問(wèn)題;中游行為是網(wǎng)絡(luò)爬蟲(chóng)技術(shù)本身;下游行為是數(shù)據(jù)的運(yùn)用問(wèn)題。我國(guó)刑法中，利用網(wǎng)絡(luò)爬蟲(chóng)技術(shù)進(jìn)行的非法活動(dòng)尚未被規(guī)定為獨(dú)立罪名。在這種情況下，需要對(duì)網(wǎng)絡(luò)爬蟲(chóng)的上述三類行為具體分析，并按照現(xiàn)有刑法規(guī)定進(jìn)行懲治。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng);行為類型;刑法規(guī)制中圖分類號(hào)：D924.3 ? 文獻(xiàn)標(biāo)志碼：A ? 文章編號(hào)：1002-2589（2021）06-0059-03近年來(lái)，有關(guān)于網(wǎng)絡(luò)爬蟲(chóng)相關(guān)的
學(xué)理論·下 2021年6期2021-08-10
- 基于雙層樹(shù)狀支持向量機(jī)的觀點(diǎn)挖掘與傾向分析
商品評(píng)論; 網(wǎng)絡(luò)爬蟲(chóng); SVM; LSTM; 情感分類; 數(shù)據(jù)挖掘文章編號(hào)： 2095-2163（2021）03-0044-04 中圖分類號(hào)：TP181 文獻(xiàn)標(biāo)志碼：A【Abstract】In this paper， a large amount of preprocessing work is carried out， and the text data processed by the following two different vectoriza
智能計(jì)算機(jī)與應(yīng)用 2021年3期2021-08-09
- 刑法規(guī)范視角下的網(wǎng)絡(luò)爬蟲(chóng)黑色產(chǎn)業(yè)鏈分析
昕勻摘 要：網(wǎng)絡(luò)爬蟲(chóng)黑色產(chǎn)業(yè)可以分為上中下游三類行為。上游行為是電子數(shù)據(jù)爬取的來(lái)源問(wèn)題;中游行為是網(wǎng)絡(luò)爬蟲(chóng)技術(shù)本身;下游行為是數(shù)據(jù)的運(yùn)用問(wèn)題。我國(guó)刑法中，利用網(wǎng)絡(luò)爬蟲(chóng)技術(shù)進(jìn)行的非法活動(dòng)尚未被規(guī)定為獨(dú)立罪名。在這種情況下，需要對(duì)網(wǎng)絡(luò)爬蟲(chóng)的上述三類行為具體分析，并按照現(xiàn)有刑法規(guī)定進(jìn)行懲治。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng);行為類型;刑法規(guī)制中圖分類號(hào)：D924.3 ? 文獻(xiàn)標(biāo)志碼：A ? 文章編號(hào)：1002-2589（2021）06-0059-03近年來(lái)，有關(guān)于網(wǎng)絡(luò)爬蟲(chóng)相關(guān)的
學(xué)理論·下 2021年7期2021-08-06
- 《網(wǎng)絡(luò)爬蟲(chóng)》課程中思政元素的融合與實(shí)踐
據(jù)的采集，而網(wǎng)絡(luò)爬蟲(chóng)的出現(xiàn)，使這一難題得以解決，能夠?qū)崿F(xiàn)對(duì)各種來(lái)源數(shù)據(jù)的采集，從而減輕了數(shù)據(jù)采集人員的工作量，提高了抽取網(wǎng)頁(yè)數(shù)據(jù)的效率。本文是以《網(wǎng)絡(luò)爬蟲(chóng)》中的部分典型工作案例為研究對(duì)象，實(shí)踐并探討了如何將思政元素合理有效地融合進(jìn)該課程之中，以求幫助大數(shù)據(jù)相關(guān)專業(yè)任課教師找到更多專業(yè)課程與思政元素融合的思路和方法?！?span id="j5i0abt0b" class="hl">網(wǎng)絡(luò)爬蟲(chóng)》是高職院校大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)、軟件技術(shù)等專業(yè)的一門重要的專業(yè)課程。課程教學(xué)對(duì)象是大二學(xué)生，學(xué)生已經(jīng)具有一定的大數(shù)據(jù)相關(guān)理論的基礎(chǔ)和
科學(xué)咨詢 2021年18期2021-07-30
- 基于Python和Scrapy框架的網(wǎng)頁(yè)爬蟲(chóng)設(shè)計(jì)與實(shí)現(xiàn)
詞：大數(shù)據(jù);網(wǎng)絡(luò)爬蟲(chóng);scrapy框架;數(shù)據(jù)采集中圖分類號(hào)：TP3? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044（2021）13-0003-03Abstract： Designing effective crawling strategies for different network data environments can enhance the accuracy and validity of crawling information.
電腦知識(shí)與技術(shù) 2021年13期2021-07-19
- 基于Python的美食數(shù)據(jù)爬取及可視化研究
ython;網(wǎng)絡(luò)爬蟲(chóng);數(shù)據(jù)分析;詞云圖中圖分類號(hào)：TP391? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044（2021）10-0019-02Abstract： This paper mainly studies the crawling， construction， data processing and data visualization analysis of Chinese cuisine vocabulary resources in Ch
電腦知識(shí)與技術(shù) 2021年10期2021-06-28
- 基于改進(jìn)Single-pass算法的新聞話題演化跟蹤算法
ss算法; 網(wǎng)絡(luò)爬蟲(chóng); 聚類; 演化; 跟蹤中圖分類號(hào)：TP311? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044（2021）10-0026-04Abstract：With the development of information technology， a large number of news texts are published and forwarded on the Internet every day. In such a m
電腦知識(shí)與技術(shù) 2021年10期2021-06-28
- 視覺(jué)情感識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
on語(yǔ)言編寫網(wǎng)絡(luò)爬蟲(chóng)程序，爬取網(wǎng)絡(luò)上帶有情感標(biāo)簽的人臉圖片，從而為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練提供數(shù)據(jù);采用Keras框架搭建卷積神經(jīng)網(wǎng)絡(luò)，對(duì)帶有情感標(biāo)簽的人臉圖片進(jìn)行深度學(xué)習(xí)，使卷積神經(jīng)網(wǎng)絡(luò)收斂到理想的模型，從而實(shí)現(xiàn)對(duì)人臉圖片的情感識(shí)別。實(shí)驗(yàn)結(jié)果表明，該方案具有一定的識(shí)別效率。關(guān)鍵詞： 網(wǎng)絡(luò)爬蟲(chóng); 深度學(xué)習(xí); 卷積神經(jīng)網(wǎng)絡(luò); 情感識(shí)別中圖分類號(hào)：TP393? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ?文章編號(hào)：1006-8228（2021）03-33-04Design an
計(jì)算機(jī)時(shí)代 2021年3期2021-06-11
- 網(wǎng)絡(luò)爬蟲(chóng)在科技文獻(xiàn)檢索中的應(yīng)用
高。近些年，網(wǎng)絡(luò)爬蟲(chóng)技術(shù)被廣泛應(yīng)用于互聯(lián)網(wǎng)搜索引擎當(dāng)中，可以按照預(yù)先設(shè)定好的規(guī)則自動(dòng)地抓取特定網(wǎng)站信息。文章主要介紹了如何使用網(wǎng)絡(luò)爬蟲(chóng)技術(shù)實(shí)現(xiàn)科技文獻(xiàn)檢索，從而大大提高科技文獻(xiàn)檢索效率及準(zhǔn)確性，更好地為科研工作服務(wù)。關(guān)鍵詞：科技創(chuàng)新;文獻(xiàn)檢索;網(wǎng)絡(luò)爬蟲(chóng);Python;Selenium中圖分類號(hào)：TP391 ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-4706（2021）24-0150-03Abstract： Scientific and technolo
現(xiàn)代信息科技 2021年24期2021-06-07
- 一種多源統(tǒng)一爬蟲(chóng)框架的設(shè)計(jì)與實(shí)現(xiàn)
hon開(kāi)發(fā);網(wǎng)絡(luò)爬蟲(chóng);瀏覽器行為;HTTP請(qǐng)求中圖分類號(hào)：TP311.1? ? ?文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-1472（2021）-04-30-03Abstract： Confrontation between crawler technology for deep web data and anti-crawler technology has waxed and waned with development of website technolo
軟件工程 2021年4期2021-04-18
- 基于Scrapy框架的分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
針對(duì)傳統(tǒng)單機(jī)網(wǎng)絡(luò)爬蟲(chóng)抓取效率低、穩(wěn)定性差、數(shù)據(jù)量少等問(wèn)題，文章利用Scrapy框架結(jié)合Redis技術(shù)，對(duì)傳統(tǒng)網(wǎng)絡(luò)爬蟲(chóng)框架進(jìn)行改進(jìn)和優(yōu)化，設(shè)計(jì)出了分布式非結(jié)構(gòu)化的網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)，使采集到的信息能以非結(jié)構(gòu)化形式存儲(chǔ)于MongoDB數(shù)據(jù)庫(kù)內(nèi)，實(shí)現(xiàn)對(duì)數(shù)據(jù)信息的實(shí)時(shí)、有效處理分析。經(jīng)過(guò)實(shí)際應(yīng)用測(cè)試，證明基于Scrapy框架的分布式非結(jié)構(gòu)化網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)相較于傳統(tǒng)單機(jī)系統(tǒng)具有更高的效率。關(guān)鍵詞：分布式;Scrapy框架;網(wǎng)絡(luò)爬蟲(chóng)中圖分類號(hào)：TP311? ? ? ? ? ?
現(xiàn)代信息科技 2021年19期2021-04-03
- 基于Spark的氣象數(shù)據(jù)處理與分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
SSM框架;網(wǎng)絡(luò)爬蟲(chóng)中圖分類號(hào)：TP311.52 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1003-5168（2021）29-0026-03Design and Implementation of Meteorological Data Processing andAnalysis System Based on SparkLIU Hai WANG Mingzhu LIU Shichao SHI Zhaoyu LIU Mingyang SUN Haoran（Anyang
河南科技 2021年29期2021-03-28
- 基于網(wǎng)絡(luò)爬蟲(chóng)的Java行業(yè)的就業(yè)分析
的趨勢(shì)，利用網(wǎng)絡(luò)爬蟲(chóng)對(duì)大數(shù)據(jù)進(jìn)行分析和處理有非常重要的意義。該文以拉勾網(wǎng)為例，利用Python 3.7和MySQL 5.5設(shè)計(jì)了一個(gè)關(guān)于Java相關(guān)崗位招聘信息的數(shù)據(jù)采集與存儲(chǔ)系統(tǒng)。并且對(duì)采集的數(shù)據(jù)進(jìn)行多方位分析，為相關(guān)行業(yè)的就業(yè)者在就業(yè)選擇以及未來(lái)規(guī)劃的時(shí)候提供一個(gè)有據(jù)可依的參照，起到一個(gè)就業(yè)指導(dǎo)的作用。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng)? 招聘信息? 數(shù)據(jù)分析? 就業(yè)指導(dǎo)Abstract： With the rapid development of the Intern
科技資訊 2021年2期2021-03-28
- 應(yīng)對(duì)“網(wǎng)絡(luò)爬蟲(chóng)”刑事犯罪的新路徑探索
業(yè)技術(shù)難題“網(wǎng)絡(luò)爬蟲(chóng)（Web Crawler）（簡(jiǎn)稱爬蟲(chóng)），也被稱為網(wǎng)絡(luò)蜘蛛、蜘蛛爬蟲(chóng)（Web Spider）或網(wǎng)絡(luò)機(jī)器人（Web Robot），是互聯(lián)網(wǎng)時(shí)代一項(xiàng)運(yùn)用非常普遍的網(wǎng)絡(luò)信息搜索技術(shù)。爬蟲(chóng)技術(shù)的本質(zhì)是一套實(shí)現(xiàn)高效下載的系統(tǒng)，通過(guò)遍歷網(wǎng)絡(luò)內(nèi)容，按照指定規(guī)則提取所需的網(wǎng)頁(yè)數(shù)據(jù)，并下載到本地形成互聯(lián)網(wǎng)網(wǎng)頁(yè)鏡像備份的程序?！盵4]由此可見(jiàn)，“爬蟲(chóng)技術(shù)就是一個(gè)高效的下載系統(tǒng)， 能夠?qū)⒑Ａ康木W(wǎng)頁(yè)數(shù)據(jù)傳送到本地， 在本地形成互聯(lián)網(wǎng)網(wǎng)頁(yè)的鏡像備份?！盵5]換言之
中國(guó)檢察官·經(jīng)典案例 2021年2期2021-03-24
- 網(wǎng)絡(luò)教學(xué)資源使用效能的可視化分析平臺(tái)設(shè)計(jì)
常迅速，同時(shí)網(wǎng)絡(luò)爬蟲(chóng)、數(shù)據(jù)挖掘等技術(shù)也逐漸變得成熟，但是目前國(guó)內(nèi)外業(yè)界還缺少利用這些技術(shù)捕捉多種學(xué)習(xí)資源，并進(jìn)行綜合分析和可視反饋的系統(tǒng)。平臺(tái)充分地利用了selenium框架、采用cookie的登錄方式，構(gòu)建了用于數(shù)據(jù)挖掘的自動(dòng)化爬蟲(chóng)，完成了關(guān)于學(xué)習(xí)成績(jī)、教學(xué)視頻時(shí)長(zhǎng)等數(shù)據(jù)的爬取工作;接著使用Dash框架和Python語(yǔ)言以及相關(guān)的工具包搭建了可視化平臺(tái)，完成了關(guān)于學(xué)習(xí)成績(jī)、教學(xué)視頻時(shí)長(zhǎng)等數(shù)據(jù)的分析及可視化展示，并以此為資源的使用者提供合適的學(xué)習(xí)及教學(xué)設(shè)計(jì)
電腦知識(shí)與技術(shù) 2021年3期2021-03-15
- 基于隨機(jī)森林的深圳二手房?jī)r(jià)格預(yù)測(cè)與分析
論。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng);隨機(jī)森林;深圳二手房?jī)r(jià);網(wǎng)格搜索中圖分類號(hào)：TP311? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-4706（2021）15-0100-05Abstract： Aiming at the problem of house price prediction in Shenzhen second-hand house market， combined with eight relevant characteris
現(xiàn)代信息科技 2021年15期2021-03-13
- 農(nóng)民工工資支付現(xiàn)狀網(wǎng)絡(luò)爬蟲(chóng)數(shù)據(jù)分析
要：本文基于網(wǎng)絡(luò)爬蟲(chóng)技術(shù)，對(duì)有關(guān)農(nóng)民工工資支付現(xiàn)狀數(shù)據(jù)進(jìn)行抓取并通過(guò)詞頻分析繪制詞云圖了解《保障農(nóng)民工工資支付條例》（以下簡(jiǎn)稱《條例》）施行后對(duì)于工資支付現(xiàn)狀的改善程度，并在此基礎(chǔ)之上結(jié)合具體結(jié)論為《條例》的進(jìn)一步落實(shí)和推廣提供建議。關(guān)鍵詞：條例;網(wǎng)絡(luò)爬蟲(chóng);詞頻;農(nóng)民工;工資支付1.1.1 全國(guó)各省份拖欠情況分析為推動(dòng)黨中央、國(guó)務(wù)院根治欠薪重大決策部署貫徹落實(shí)，便捷高效回應(yīng)群眾關(guān)切，人力資源社會(huì)保障部日前在門戶網(wǎng)站開(kāi)通“根治欠薪進(jìn)行時(shí)”專欄。為獲取更多真實(shí)
科學(xué)與財(cái)富 2021年4期2021-03-08
- 基于Python的豆瓣網(wǎng)站數(shù)據(jù)爬取與分析
ython的網(wǎng)絡(luò)爬蟲(chóng)程序爬取豆瓣網(wǎng)站的有關(guān)數(shù)據(jù)，使用非關(guān)系型數(shù)據(jù)庫(kù)MongoDB存儲(chǔ)數(shù)據(jù)，并利用Matplotlib和PyEcharts對(duì)爬取結(jié)果進(jìn)行了可視化分析。對(duì)豆瓣電影和圖書(shū)Top250排行榜的數(shù)據(jù)進(jìn)行可視化分析，可以了解作品排名、評(píng)分、年份、地區(qū)和導(dǎo)演及作家的分布情況，從而分析得出數(shù)據(jù)之間的相關(guān)性和文化產(chǎn)業(yè)的發(fā)展趨勢(shì)。關(guān)鍵詞：Python;網(wǎng)絡(luò)爬蟲(chóng);數(shù)據(jù)采集;數(shù)據(jù)分析;可視化中圖分類號(hào)：G642? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-30
電腦知識(shí)與技術(shù) 2020年32期2020-12-29
- 網(wǎng)絡(luò)爬蟲(chóng)探討及應(yīng)用
息獲取方式為網(wǎng)絡(luò)爬蟲(chóng)。文章從爬蟲(chóng)概念、工作原理、爬蟲(chóng)分類和合法性進(jìn)行了探討，并通過(guò)實(shí)例展現(xiàn)了Python爬蟲(chóng)的簡(jiǎn)潔性，望對(duì)學(xué)習(xí)者有所幫助。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng);搜索引擎;Python中圖分類號(hào)：TP393.092 文獻(xiàn)標(biāo)志碼：A? ? ? ? ?文章編號(hào)：2095-2945（2020）27-0178-02Abstract： With the rapid development of Internet information technology and the
科技創(chuàng)新與應(yīng)用 2020年27期2020-12-24