最大熵模型和条件随机场
取自 自然语言处理百科
最大熵模型(Max Entropy Model，MEM)：在已知限制条件下，未知的概率分布应该均等看待。此时，模型的熵最大。
最大熵模型主要是在已有的一些限制条件下估计未知的概率分布，在估计时，通过认为熵最大的那个分布为最后所求。形式化时，通常将那些限制条件变成特征函数 (在MEM中也常常称为特征，和一般我们所说的特征并不一样)，最大熵的目标就是在这些特征函数的期望值等于观测值的限制条件下，最具有最大熵的那个分布。
条件随机场(CRF)相对于HMM,MEMM的优势
首先，CRF，HMM(隐马模型)，MEMM(最大熵隐马模型)都常用来做序列标注的建模，像词性标注，True casing。但隐马模型一个最大的缺点就是由于其输出独立性假设，导致其不能考虑上下文的特征，限制了特征的选择，而最大熵隐马模型则解决了这一问题，可以任意的选择特征，但由于其在每一节点都要进行归一化，所以只能找到局部的最优值，同时也带来了标记偏见的问题（label bias），即凡是训练语料中未出现的情况全都忽略掉，而条件随机场则很好的解决了这一问题，他并不在每一个节点进行归一化，而是所有特征进行全局归一化，因此可以求得全局的最优值。目前，条件随机场的训练和解码的开源工具还只支持链式的序列，复杂的尚不支持，而且训练时间很长，但效果还可以。
