摘要 網(wǎng)絡(luò)購(gòu)物的發(fā)展非常迅速,目前能在網(wǎng)上購(gòu)買的商品已經(jīng)十分豐富,能在市場(chǎng)上買到的商品,幾乎都能在網(wǎng)上買到。隨著網(wǎng)絡(luò)購(gòu)物市場(chǎng)的發(fā)展,出現(xiàn)了很多的購(gòu)物網(wǎng),如京東,卓越,當(dāng)當(dāng),淘寶等。因?yàn)檫\(yùn)作模式的不同,對(duì)于同樣的商品,這些購(gòu)物網(wǎng)在同一時(shí)間對(duì)同一商品的售價(jià)往往是不同的。對(duì)于客戶來(lái)說(shuō),在網(wǎng)上購(gòu)物時(shí),都希望以最低的價(jià)格購(gòu)得看中的商品。為了達(dá)到這一目的,需要到各購(gòu)物網(wǎng)上去查詢看中的商品的價(jià)格,比較之后才能知道最低的價(jià)格。顯然,這樣做是非常麻煩的,用戶需要打開(kāi)很多個(gè)Web頁(yè)面,搜索到商品后,記錄下價(jià)格后再做比較。如果有一套系統(tǒng),能自動(dòng)的在購(gòu)物網(wǎng)站搜集商品價(jià)格信息,并將價(jià)格比較的結(jié)果展現(xiàn)出來(lái),那將會(huì)給用戶提供非常大的便利,本文的目的就是研究如何實(shí)現(xiàn)這種比價(jià)系統(tǒng)。

該系統(tǒng)主要分為兩個(gè)部分，數(shù)據(jù)抽取部分以及比價(jià)部分。數(shù)據(jù)的抽取部分采用Java編寫的WebMagic爬蟲(chóng)對(duì)購(gòu)物網(wǎng)站的商品信息進(jìn)行抽取。