GeneralNewsExtractor是一個(gè)非常實(shí)用的新聞網(wǎng)頁(yè)正文通用抽取器，軟件并非是通過爬蟲的原理，而是基于論文《基于文本及符號(hào)密度的網(wǎng)頁(yè)正文提取方法》來(lái)實(shí)現(xiàn)的正文抽取器。可以幫助用戶快速提取網(wǎng)頁(yè)文章的內(nèi)容，標(biāo)題和作者。適用于多個(gè)主流的新聞資訊平臺(tái)，目前測(cè)試下來(lái)準(zhǔn)確率是100%，非常可觀。

開發(fā)介紹

項(xiàng)目起源

開發(fā)這個(gè)項(xiàng)目，源自于我在知網(wǎng)發(fā)現(xiàn)了一篇關(guān)于自動(dòng)化抽取新聞?lì)惥W(wǎng)站正文的算法論文——《基于文本及符號(hào)密度的網(wǎng)頁(yè)正文提取方法》）

這篇論文中描述的算法看起來(lái)簡(jiǎn)潔清晰，并且符合邏輯。但由于論文中只講了算法原理，并沒有具體的語(yǔ)言實(shí)現(xiàn)，所以我使用 Python 根據(jù)論文實(shí)現(xiàn)了這個(gè)抽取器。并分別使用今日頭條、網(wǎng)易新聞、游民星空、觀察者網(wǎng)、鳳凰網(wǎng)、騰訊新聞、ReadHub、新浪新聞做了測(cè)試，發(fā)現(xiàn)提取效果非常出色，幾乎能夠達(dá)到100%的準(zhǔn)確率。

項(xiàng)目現(xiàn)狀

在論文中描述的正文提取基礎(chǔ)上，我增加了標(biāo)題、發(fā)布時(shí)間和文章作者的自動(dòng)化探測(cè)與提取功能。

目前這個(gè)項(xiàng)目是一個(gè)非常非常早期的 Demo，發(fā)布出來(lái)是希望能夠盡快得到大家的使用反饋，從而能夠更好地有針對(duì)性地進(jìn)行開發(fā)。

本項(xiàng)目取名為抽取器，而不是爬蟲，是為了規(guī)避不必要的風(fēng)險(xiǎn)，因此，本項(xiàng)目的輸入是 HTML，輸出是一個(gè)字典。請(qǐng)自行使用恰當(dāng)?shù)姆椒ǐ@取目標(biāo)網(wǎng)站的 HTML。

本項(xiàng)目現(xiàn)在不會(huì)，將來(lái)也不會(huì)提供主動(dòng)請(qǐng)求網(wǎng)站 HTML 的功能。

使用說(shuō)明

一般情況下，你只需要把網(wǎng)頁(yè)粘貼到最上面的多行文本框中，然后點(diǎn)提取按鈕即可。通過附加更多的參數(shù)，可以讓提取更精確。