信息抽取
取自 自然语言处理百科
目录 |
[编辑] 概览
信息抽取（Information Extraction: IE）是把文本里包含的信息进行结构化处理，变成表格一样的组织形式。输入信息抽取系统的是原始文本，输出的是固定格式的信息点。信息点从各种各样的文档中被抽取出来，然后以统一的形式集成在一起。这就是信息抽取的主要任务。
信息以统一的形式集成在一起的好处是方便检查和比较。例如比较不同的招聘和商品信息。还有一个好处是能对数据作自动化处理。例如用数据挖掘方法发现和解释数据模型。
信息抽取技术并不试图全面理解整篇文档，只是对文档中包含相关信息的部分进行分析。至于哪些信息是相关的，那将由系统设计时定下的领域范围而定。
信息抽取研究旨在为人们提供更有力的信息获取工具，以应对信息爆炸带来的严重挑战。与信息检索不同，信息抽取直接从自然语言文本中抽取事实信息。过去十多年来，信息抽取逐步发展成为自然语言处理领域的一个重要分支，其独特的发展轨迹——通过系统化、大规模地定量评测推动研究向前发展，以及某些成功启示，如部分分析技术的有效性、快速NLP系统开发的必要性，都极大地推动了自然语言处理研究的发展，促进了NLP研究与应用的紧密结合。
信息抽取系统的主要功能是从文本中抽取出特定的事实信息（factual information）。比如，从新闻报道中抽取出恐怖事件的详细情况：时间、地点、作案者、受害者、袭击目标、使用的武器等；从经济新闻中抽取出公司发布新产品的情况：公司名、产品名、发布时间、产品性能等；从病人的医疗记录中抽取出症状、诊断记录、检验结果、处方等等。通常，被抽取出来的信息以结构化的形式描述，可以直接存入数据库中，供用户查询以及进一步分析利用。
信息抽取虽然需要对文本进行一定程度的理解，但与真正的文本理解（Text Understanding）还是不同的。在信息抽取中，用户一般只关心有限的感兴趣的事实信息，而不关心文本意义的细微差别以及作者的写作意图等深层理解问题因此，信息抽取只能算是一种浅层的或者说简化的文本理解技术。
一般来说，信息抽取系统的处理对象是自然语言文本尤其是非结构化文本。但广义上讲，除了电子文本以外，信息抽取系统的处理对象还可以是语音、图像、视频等其他媒体类型的数据。在这里，我们只讨论狭义上的信息抽取研究，即针对自然语言文本的信息抽取。
[编辑] 历史
从自然语言文本中获取结构化信息的研究最早开始于20世纪60年代中期，这被看作是信息抽取技术的初始研究，它以两个长期的、研究性的自然语言处理项目为代表。
美国纽约大学开展的Linguistic String项目开始于60年代中期并一直延续到80年代。该项目的主要研究内容是建立一个大规模的英语计算语法，与之相关的应用是从医疗领域的X光报告和医院出院记录中抽取信息格式（Information Formats），这种信息格式实际上就是现在我们所说的模板1（Templates）。
另一个相关的长期项目是由耶鲁大学Roger Schank及其同事在20世纪70年代开展的有关故事理解的研究。由他的学生Gerald De Jong设计实现的FRUMP系统是根据故事脚本理论建立的一个信息抽取系统。该系统从新闻报道中抽取信息，内容涉及地震、工人罢工等很多领域或场景。该系统采用了期望驱动（top-down，脚本）与数据驱动（bottom-up，输入文本）相结合的处理方法。这种方法被后来的许多信息抽取系统采用。
从20世纪80年代末开始，信息抽取研究蓬勃开展起来，这主要得益于消息理解系列会议（MUC，Message Understanding Conference）的召开。正是MUC系列会议使信息抽取发展成为自然语言处理领域一个重要分支，并一直推动这一领域的研究向前发展。
从1987年开始到1998年，MUC会议共举行了七届，它由美国国防高级研究计划委员会（DARPA，the Defense Advanced Research Projects Agency）资助。MUC的显著特点并不是会议本身，而在于对信息抽取系统的评测。只有参加信息抽取系统评测的单位才被允许参加MUC会议。在每次MUC会议前，组织者首先向各参加者提供样例消息文本和有关抽取任务的说明，然后各参加者开发能够处理这种消息文本的信息抽取系统。在正式会议前，各参加者运行各自的系统处理给定的测试消息文本集合。由各个系统的输出结果与手工标注的标准结果相对照得到最终的评测结果。最后才是所谓的会议，由参与者交流思想和感受。后来，这种评测驱动的会议模式得到广泛推广，如1992年开始举行的文本检索会议TREC2等。
从历次MUC会议，可以清楚地看到信息抽取技术发展的历程。
1987年5月举行的首届MUC会议基本上是探索性的，没有明确的任务定义，也没有制定评测标准，总共有6个系统参加，所处理的文本是海军军事情报，每个系统的输出格式都不一样。
MUC-2于1989年5月举行，共有8个系统参加，处理的文本类型与MUC-1一样。MUC-2开始有了明确的任务定义，规定了模板以及槽的填充规则，抽取任务被明确为一个模板填充的过程。
MUC-3于1991年5月举行，共有15个系统参加，抽取任务是从新闻报告中抽取拉丁美洲恐怖事件的信息，定义的抽取模板由18个槽组成。从MUC-3开始引入正式的评测标准，其中借用了信息检索领域采用的一些概念，如召回率和准确率等。
MUC-4于1992年6月举行，共有17个系统参加，任务与MUC-3一样，仍然是从新闻报告中抽取恐怖事件信息。但抽取模板变得更复杂了，总共由24个槽组成。从这次会议开始MUC被纳入TIPSTER文本项目3。
MUC-5于1993年8月举行，共有17个系统参加：美国14个，英国、加拿大、日本各一个。此次会议设计了两个目标场景：金融领域中的公司合资情况、微电子技术领域中四种芯片制造处理技术的进展情况。除英语外，MUC-5还对日语信息抽取系统进行了测试。在本次会议上，组织者尝试采用平均填充错误率（ERR, Error Per Response Fill）作为主要评价指标。与以前相比，MUC-5抽取任务的复杂性更大，比如公司合资场景需要填充11种子模板总共47个槽，光任务描述文档就有40多页。MUC-5的模板和槽填充规范是MUC系列评测中最复杂的。
MUC-5的一个重要创新是引入了嵌套的模板结构。信息抽取模板不再是扁平结构（flat structure）的单个模板，而是借鉴面向对象和框架知识表示的思想，由多个子模板组成。模板中每个槽的取值除了可以是文本串（如公司名）、格式化串（如将日期、时间、金额等文本描述转化为某种规范形式）、有限集合中的元素（如组织类型可以分为公司、政府部门、研究机构等）外，还可以是指向另一个子模板的指针。
MUC-6于1995年9月举行，训练时的目标场景是劳动争议的协商情况，测试时的目标场景是公司管理人员的职务变动情况，共有16家单位参加了这次会议。MUC-6的评测更为细致，强调系统的可移植性以及对文本的深层理解能力。除了原有的场景模板（Scenario Templates）填充任务外，又引入三个新的评测任务：命名实体（Named Entity）识别、共指（Coreference）关系确定、模板元素（Template Element）填充等[5][6]。 命名实体识别任务主要是要识别出文本中出现的专有名称和有意义的数量短语并加以归类；共指关系确定任务是要识别出给定文本中的参照表达式，并确定这些表达式之间的共指关系；模板元素填充任务是要识别出特定类型的所有实体以及它们的属性特征。
最后一届MUC会议——MUC-7于1998年4月举行。训练时的目标场景是飞机失事事件，测试时的目标场景是航天器（火箭/导弹）发射事件。除MUC-6已有的四项评测任务外，MUC-7又增加了一项新任务——模板关系任务，它意在确定实体之间与特定领域无关的关系。共有18家单位参加了MUC-7评测。值得注意的是，在MUC-6和MUC-7中开发者只允许用四周的时间进行系统的移植，而在先前的评测中常常允许有6-9个月的移植时间。
[编辑] 关键技术
[编辑] 命名实体识别
命名实体是文本中基本的信息元素，是正确理解文本的基础。狭义地讲，命名实体是指现实世界中的具体的或抽象的实体，如人、组织、公司、地点等，通常用唯一的标志符（专有名称）表示，如人名、组织名、公司名、地名等。广义地讲，命名实体还可以包含时间、数量表达式等。至于命名实体的确切含义，只能根据具体应用来确定。比如，在具体应用中，可能需要把住址、电子信箱地址、电话号码、舰船编号、会议名称等作为命名实体。
命名实体识别就是要判断一个文本串是否代表一个命名实体，并确定它的类别。在信息抽取研究中，命名实体识别是目前最有实用价值的一项技术。根据MUC评测结果，英文命名实体识别任务的F-指数（召回率与准确率的加权几何平均值，权重取1）能达到90%以上。
命名实体识别的难点在于：
1、 在不同领域、场景下，命名实体的外延有差异；
2、 数量巨大，不能枚举，难以全部收录在词典中；
3、 某些类型的实体名称变化频繁，并且没有严格的规律可以遵循；
4、 表达形式多样；
5、 首次出现后往往采用缩写形式；
命名实体识别的方法主要分为：基于规则的方法和基于统计的方法。一般来说，基于规则的方法性能要优于基于统计的方法。但是这些规则往往依赖于具体语言、领域、文本格式，编制过程耗时且容易产生错误，并且需要富有经验的语言学家才能完成。相比而言，基于统计的方法利用人工标注的语料进行训练，标注语料时不需要广博的计算语言学知识，并且可以在较短时间内完成。因此，这类系统在移植到新的领域时可以不做或少做改动，只要利用新语料训练一遍即可。此外，基于统计的系统要移植到其他自然语言文本也相对容易一些。
[编辑] 句法分析
通过句法分析得到输入的某种结构表示，如完整的分析树或分析树片段集合，是计算机理解自然语言的基础。在信息抽取领域一个比较明显的趋势是越来越多的系统采用部分分析技术，这主要是由于以下三方面原因造成的。
首先是信息抽取任务自身的特殊性，即需要抽取的信息通常只是某一领域中数量有限的事件或关系。这样，文本中可能只有一小部分与抽取任务有关。并且，对每一个句子，并不需要得到它的完整的结构表示，只要识别出部分片段间的某些特定关系就行了，得到的只是完整分析树的部分子图。
其次是部分分析技术在MUC系列评测中的成功。
SRI公司在其参加MUC-4评测的FASTUS系统 中开始采用层级的有限状态自动机（Cascaded Finite-State Automata）分析方法。该方法使FASTUS系统具有概念简单、运行速度快、开发周期短等优点，在多次MUC评测中都居于领先地位。
最后，部分分析方法盛行也是因为目前我们尚没有其他更好的选择。现在，完全分析技术的鲁棒性以及时空开销都难以满足信息抽取系统的需要。
但是，另一方面，我们也要清醒看到：部分分析技术只能使信息抽取系统的处理能力达到目前的水平（F-指数小于60%），要想使其性能有大的飞跃，必须探索更有效的分析技术。
[编辑] 篇章分析与推理
一般说来，用户关心的事件和关系往往散布于文本的不同位置，其中涉及到的实体通常可以有多种不同的表达方式，并且还有许多事实信息隐含于文本之中。为了准确而没有遗漏地从文本中抽取相关信息，信息抽取系统必须能够识别文本中的共指现象，进行必要的推理，以合并描述同一事件或实体的信息片段。因此，篇章分析、推理能力对信息抽取系统来说是必不可少的。
初看起来，信息抽取中的篇章分析比故事理解中的篇章分析要简单得多。因为在信息抽取中只需要记录某些类型的实体和事件。但是，大多数信息抽取系统只识别和保存与需求相关的文本片段，从中抽取出零碎的信息。在这个过程中很可能把用以区分不同事件、不同实体的关键信息给遗漏了。在这种情况下要完成篇章分析是相当困难的。 除此之外，目前尚缺乏有效的篇章分析理论和方法可以借鉴。现有篇章分析理论大多是面向人、面向口语的，需要借助大量的常识，它们设想的目标文本也比真实文本要规范，并且理论本身也没有在大规模语料上进行过测试。
信息抽取系统除了要解决文本内的共指问题外，还需要解决文本间的（跨文本的）共指问题。在文本来源比较广泛的情况下，很可能有多篇文本描述了同一个事件、同一个实体，不同文本间还会存在语义歧义，如相同的词有不同的含义、不同的词代表一个意思。为了避免信息的重复、冲突，信息抽取系统需要有识别、处理这些现象的能力。 由MUC-6和MUC-7对信息抽取系统部分篇章处理能力（即指称短语的共指消解）的评测结果看，篇章处理能力是目前信息抽取系统的弱项，是一个瓶颈，急需深入研究与改进。
[编辑] 知识获取
作为一种自然语言处理系统，信息抽取系统需要强大知识库的支撑。在不同的信息抽取系统中知识库的结构和内容是不同的，但一般来说，都要有：一部词典（Lexicon），存放通用词汇以及领域词汇的静态属性信息；一个抽取模式库（Extraction Patterns Base），每个模式可以有附加的（语义）操作，模式库通常也划分为通用部分和领域（场景）专用部分；一个概念层次模型（Ontology），通常是面向特定领域或场景的，是通用概念层次模型在局部的细化或泛化。除此之外，可能还有篇章分析和推理规则库、模板填充规则库等。
如前所述，信息抽取系统通常是面向特定应用领域或场景的。这种领域受限性决定了信息抽取系统中用到的主要知识是所谓的浅层知识。这种知识的抽象层次不高，通常只适用于特定应用领域，很难在其他领域复用。如果要把一个信息抽取系统移植到新的领域或场景，开发者必须要为系统重新编制大量的领域知识。一般说来，手工编制领域知识往往是枯燥的、费时的、易错的，费用较高，并且只有具有专门知识（应用领域知识、知识描述语言知识，熟悉系统的设计与实现）的人员才能胜任这种工作。另外，由于自然语言中存在的“长尾”综合效应（”long tail” syndrome）或称Zipf法则9，人工编制的知识库很难达到很高的语言覆盖面。因此，知识获取问题已经成为制约信息抽取技术广泛应用的一个主要障碍。它除了影响系统的可移植性外，也是影响系统性能的主要因素。正因为如此，近几年召开的多次专题学术研讨会都是以解决知识获取问题、建立具有自适应能力的信息抽取系统为主题的。
领域知识获取可以采用的策略通常有两种：手工+辅助工具（图形用户接口）；自动/半自动+人工校对。前者相对简单一些，人工工作仍然是主体，只是为移植者提供了一些图形化的辅助工具，以方便和加快领域知识获取过程。后者采用有指导的、无指导的或间接指导的机器学习技术从文本语料中自动或半自动获取领域知识，人工干预程度较低。实际上，这两种策略不是完全对立的，只是自动化程度高低不同而已。某种意义上讲，第一种策略仍然是一种人工编制知识库的过程，知识瓶颈问题只是得到某种程度的缓解。第二种策略才是解决信息抽取系统知识获取瓶颈问题的真正出路。近几年有不少研究者采用自扩展（Bootstrapping）技术从未经标注的语料中学习抽取模式。
编者注：以上主要整理自李保利、陈玉忠、俞士汶《信息抽取研究综述》
