Python實(shí)現(xiàn)提取文章摘要的方法

一、概述

在博客系統(tǒng)的文章列表中，為了更有效地呈現(xiàn)文章內(nèi)容，從而讓讀者更有針對(duì)性地選擇閱讀，通常會(huì)同時(shí)提供文章的標(biāo)題和摘要。

一篇文章的內(nèi)容可以是純文本格式的，但在網(wǎng)絡(luò)盛行的當(dāng)今，更多是HTML格式的。無論是哪種格式，摘要 一般都是文章 開頭部分 的內(nèi)容，可以按照指定的 字?jǐn)?shù) 來提取。

二、純文本摘要

純文本文檔 就是一個(gè)長(zhǎng)字符串，很容易實(shí)現(xiàn)對(duì)它的摘要提?。?/p>

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""Get a summary of the TEXT-format document"""
def get_summary(text, count):
 u"""Get the first `count` characters from `text`
 >>> text = u'Welcome 這是一篇關(guān)于Python的文章'
 >>> get_summary(text, 12) == u'Welcome 這是一篇'
 True
 """
 assert(isinstance(text, unicode))
 return text[0:count]
if __name__ == '__main__':
 import doctest
 doctest.testmod()

三、HTML摘要

HTML文檔 中包含大量標(biāo)記符（如

、

、等等），這些字符都是標(biāo)記指令，并且通常是成對(duì)出現(xiàn)的，簡(jiǎn)單的文本截取會(huì)破壞HTML的文檔結(jié)構(gòu)，進(jìn)而導(dǎo)致摘要在瀏覽器中顯示不當(dāng)。

在遵循HTML文檔結(jié)構(gòu)的同時(shí)，又要對(duì)內(nèi)容進(jìn)行截取，就需要解析HTML文檔。在Python中，可以借助標(biāo)準(zhǔn)庫 HTMLParser 來完成。

一個(gè)最簡(jiǎn)單的摘要提取功能，是忽略HTML標(biāo)記符而只提取標(biāo)記內(nèi)部的原生文本。以下就是類似該功能的Python實(shí)現(xiàn)：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""Get a raw summary of the HTML-format document"""
from HTMLParser import HTMLParser
class SummaryHTMLParser(HTMLParser):
 """Parse HTML text to get a summary
 >>> text = u'
Hi guys:
This is a example using SummaryHTMLParser.
'
 >>> parser = SummaryHTMLParser(10)
 >>> parser.feed(text)
 >>> parser.get_summary(u'...')
 u'
Higuys:Thi...
'
 """
 def __init__(self, count):
 HTMLParser.__init__(self)
 self.count = count
 self.summary = u''
 def feed(self, data):
 """Only accept unicode `data`"""
 assert(isinstance(data, unicode))
 HTMLParser.feed(self, data)
 def handle_data(self, data):
 more = self.count - len(self.summary)
 if more > 0:
 # Remove possible whitespaces in `data`
 data_without_whitespace = u''.join(data.split())
 self.summary += data_without_whitespace[0:more]
 def get_summary(self, suffix=u'', wrapper=u'p'):
 return u'<{0}>{1}{2}'.format(wrapper, self.summary, suffix)
if __name__ == '__main__':
 import doctest
 doctest.testmod()

HTMLParser（或者 BeautifulSoup 等等）更適合完成復(fù)雜的HTML摘要提取功能，對(duì)于上述簡(jiǎn)單的HTML摘要提取功能，其實(shí)有更簡(jiǎn)潔的實(shí)現(xiàn)方案（相比 SummaryHTMLParser 而言）：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""Get a raw summary of the HTML-format document"""
import re
def get_summary(text, count, suffix=u'', wrapper=u'p'):
 """A simpler implementation (vs `SummaryHTMLParser`).
 >>> text = u'
Hi guys:
This is a example using SummaryHTMLParser.
'
 >>> get_summary(text, 10, u'...')
 u'
Higuys:Thi...
'
 """
 assert(isinstance(text, unicode))
 summary = re.sub(r'<.*?>', u'', text) # key difference: use regex
 summary = u''.join(summary.split())[0:count]
 return u'<{0}>{1}{2}'.format(wrapper, summary, suffix)
if __name__ == '__main__':
 import doctest
 doctest.testmod()

希望本文所述對(duì)大家的Python程序設(shè)計(jì)有所幫助。

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com