1,網(wǎng)站重復(fù)內(nèi)容的判斷
A,獲取多個(gè)網(wǎng)頁(yè);
B,分別提取網(wǎng)頁(yè)的網(wǎng)頁(yè)正文;
C,從網(wǎng)頁(yè)正文中提取一個(gè)或多個(gè)句子,并根據(jù)一個(gè)或多個(gè)句子計(jì)算網(wǎng)頁(yè)正文句子簽名;
D,根據(jù)網(wǎng)頁(yè)正文句子簽名對(duì)多個(gè)網(wǎng)頁(yè)進(jìn)行聚類(lèi);
E,針對(duì)每一類(lèi)下的網(wǎng)頁(yè),計(jì)算網(wǎng)頁(yè)的附加簽名;
F,根據(jù)附加簽名判斷每一類(lèi)下的網(wǎng)頁(yè)是否重復(fù)。
通過(guò)上述方式,網(wǎng)頁(yè)重復(fù)的判斷系統(tǒng)及其判斷方法通過(guò)包括網(wǎng)頁(yè)正文句子簽名在內(nèi)的多維度簽名有效且快速地判斷網(wǎng)頁(yè)是否重復(fù)。
網(wǎng)站頁(yè)面基本架構(gòu)
提取正文
A,對(duì)網(wǎng)頁(yè)進(jìn)行分塊;
B,對(duì)分塊后的網(wǎng)頁(yè)進(jìn)行塊過(guò)濾,以獲取包含網(wǎng)頁(yè)正文的內(nèi)容快;
C,從內(nèi)容塊中提取網(wǎng)頁(yè)正文。
正文分句
A,對(duì)網(wǎng)頁(yè)正文進(jìn)行分句;
在本步驟中,可利用分號(hào),句號(hào),感嘆號(hào)等表示句子完結(jié)的標(biāo)志符號(hào)來(lái)對(duì)網(wǎng)頁(yè)正文進(jìn)行分句。此外,還可以通過(guò)網(wǎng)頁(yè)正文的視覺(jué)信息來(lái)對(duì)網(wǎng)頁(yè)正文進(jìn)行分句。
B,對(duì)分句后的網(wǎng)頁(yè)正文進(jìn)行過(guò)濾及轉(zhuǎn)換;
在步驟中,首先過(guò)濾掉句子中的數(shù)字信息;版權(quán)信息以及其他對(duì)網(wǎng)頁(yè)重復(fù)判斷不起決定性作用的信息。隨后,對(duì)句子進(jìn)行轉(zhuǎn)換,例如,進(jìn)行全角/半角轉(zhuǎn)換或者繁體/簡(jiǎn)體轉(zhuǎn)換,以使得轉(zhuǎn)換后的句子的格式統(tǒng)一。
C,從過(guò)濾及轉(zhuǎn)換后的網(wǎng)頁(yè)正文中提取最長(zhǎng)的一個(gè)或多個(gè)句子;
在本步驟中,過(guò)濾及轉(zhuǎn)換后的網(wǎng)頁(yè)正文提取出最長(zhǎng)的一個(gè)句子或者做場(chǎng)的預(yù)定數(shù)量連續(xù)句子的組合。例如,某個(gè)網(wǎng)頁(yè)實(shí)例中,經(jīng)過(guò)過(guò)濾及轉(zhuǎn)換后的某段最長(zhǎng),遠(yuǎn)超其他句子,因此可選擇該段為網(wǎng)頁(yè)正文句子,或者選擇最長(zhǎng)的連續(xù)句子組合作為網(wǎng)頁(yè)正文句子。
D,對(duì)一個(gè)或多個(gè)句子進(jìn)行hash簽名運(yùn)算,以獲取網(wǎng)頁(yè)正文句子簽名。
長(zhǎng)沙科聯(lián)環(huán)?萍加邢薰
長(zhǎng)沙科聯(lián)環(huán)保科技有限公司坐落于國(guó)家級(jí)長(zhǎng)沙經(jīng)濟(jì)技術(shù)開(kāi)發(fā)區(qū),星沙工業(yè)園、我們以“科技創(chuàng)新,聯(lián)合共...南京尚上防腐木
南京尚上防腐木是一家專(zhuān)業(yè)致力于加工、制作、銷(xiāo)售戶(hù)外景觀(guān)防腐木,并為客戶(hù)設(shè)計(jì)安裝一站式服務(wù)的現(xiàn)...長(zhǎng)沙昱霆機(jī)電有限公司
長(zhǎng)沙昱霆機(jī)電有限公司是長(zhǎng)沙空壓機(jī)_長(zhǎng)沙空壓機(jī)保養(yǎng)_湖南空壓機(jī)維修_長(zhǎng)沙空壓機(jī)機(jī)頭維修-長(zhǎng)沙昱...湖南省土地學(xué)會(huì),湖南土地學(xué)會(huì),湖南土地學(xué)會(huì)官網(wǎng)
湖南省土地學(xué)會(huì)是全省土地科技工作者自愿組成,并依法登記的學(xué)術(shù)性、非盈利性、公益性的法人社會(huì)團(tuán)...湖南為美環(huán)保技術(shù)有限公司,醫(yī)療污水凈化機(jī)組...
湖南為美環(huán)保技術(shù)有限公司應(yīng)“綠水青山就是金山銀山”之勢(shì)而生,秉持“為民環(huán)保,美麗干凈”理想信...長(zhǎng)沙租車(chē)公司-長(zhǎng)沙鑫晨租車(chē)
長(zhǎng)沙鑫晨租車(chē)(長(zhǎng)沙租車(chē)網(wǎng))于2008年,已精工細(xì)作多年,F(xiàn)以成為長(zhǎng)沙地區(qū)較早的租車(chē)公司之一。...聯(lián)系方式
地址:湖南省長(zhǎng)沙市天心區(qū)韶山南路248號(hào)南園503室
電話(huà):13637482004 0731-88571521
網(wǎng)址:http:///
郵箱:123@123007.com
微信咨詢(xún)
掃一掃進(jìn)移動(dòng)端