文本分类的方法

[钢筋机械连接方法分类及适用范围有哪些]1、径向挤压连接将一个钢套筒套在两根带肋钢筋的端部，用超高压液压设备（挤压钳）沿钢套筒径向挤压钢套管，在挤压钳挤压力作用下，钢套筒产生塑性变形与钢筋紧密结合，通过钢套筒与...+阅读

文本分类问题与其它分类问题没有本质上的区别，其方法可以归结为根据待分类数据的某些特征来进行匹配，当然完全的匹配是不太可能的，因此必须（根据某种评价标准）选择最优的匹配结果，从而完成分类。后来人们意识到，究竟依据什么特征来判断文本应当隶属的类别这个问题，就连人类自己都不太回答得清楚，有太多所谓“只可意会，不能言传”的东西在里面。人类的判断大多依据经验以及直觉，因此自然而然的会有人想到何让机器像人类一样自己来通过对大量同类文档的观察来自己总结经验，作为今后分类的依据。这便是统计学习方法的基本思想。统计学习方法需要一批由人工进行了准确分类的文档作为学习的材料（称为训练集，注意由人分类一批文档比从这些文档中总结出准确的规则成本要低得多），计算机从这些文档中挖掘出一些能够有效分类的规则，这个过程被形象的称为训练，而总结出的规则集合常常被称为分类器。

训练完成之后，需要对计算机从来没有见过的文档进行分类时，便使用这些分类器来进行。这些训练集包括sogou文本分类分类测试数据、中文文本分类分类语料库，包含Arts、Literature等类别的语料文本、可用于聚类的英文文本数据集、网易分类文本分类文本数据、tc-corpus-train（语料库训练集，适用于文本分类分类中的训练）、2002年中文网页分类训练集CCT2002-v1.1等。现如今，统计学习方法已经成为了文本分类领域绝对的主流。主要的原因在于其中的很多技术拥有坚实的理论基础（相比之下，知识工程方法中专家的主观因素居多），存在明确的评价标准，以及实际表现良好。统计分类算法将样本数据成功转化为向量表示之后，计算机才算开始真正意义上的“学习”过程。常用的分类算法为：决策树，Rocchio，朴素贝叶斯，神经网络，支持向量机，线性最小平方拟合，kNN，遗传算法，最大熵，Generalized Instance Set等。

在这里只挑几个最具代表性的算法侃一侃。 Rocchio算法 Rocchio算法应该算是人们思考文本分类问题时最先能想到，也最符合直觉的解决方法。基本的思路是把一个类别里的样本文档各项取个平均值（例如把所有 “体育”类文档中词汇“篮球”出现的次数取个平均值，再把“裁判”取个平均值，依次做下去），可以得到一个新的向量，形象的称之为“质心”，质心就成了这个类别最具代表性的向量表示。再有新文档需要判断的时候，比较新文档和质心有多么相像（八股点说，判断他们之间的距离）就可以确定新文档属不属于这个类。稍微改进一点的Rocchio算法不仅考虑属于这个类别的文档（称为正样本），也考虑不属于这个类别的文档数据（称为负样本），计算出来的质心尽量靠近正样本同时尽量远离负样本。

Rocchio算法做了两个很致命的假设，使得它的性能出奇的差。一是它认为一个类别的文档仅仅聚集在一个质心的周围，实际情况往往不是如此（这样的数据称为线性不可分的）；二是它假设训练数据是绝对正确的，因为它没有任何定量衡量样本是否含有噪声的机制，因而也就对错误数据毫无抵抗力。不过Rocchio产生的分类器很直观，很容易被人类理解，算法也简单，还是有一定的利用价值的，常常被用来做科研中比较不同算法优劣的基线系统（Base Line）。朴素贝叶斯算法贝叶斯算法关注的是文档属于某类别概率。文档属于某个类别的概率等于文档中每个词属于该类别的概率的综合表达式。而每个词属于该类别的概率又在一定程度上可以用这个词在该类别训练文档中出现的次数（词频信息）来粗略估计，因而使得整个计算过程成为可行的。

使用朴素贝叶斯算法时，在训练阶段的主要任务就是估计这些值。朴素贝叶斯算法的公式并不是只有一个。首先对于每一个样本中的元素要计算先验概率。其次要计算一个样本对于每个分类的概率，概率最大的分类将被采纳。所以其中P(d| Ci)=P(w1|Ci) P(w2|Ci) …P(wi|Ci) P(w1|Ci) …P(wm|Ci) （式1） P(w|C)=元素w在分类为C的样本中出现次数/数据整理后的样本中元素的总数（式2）这其中就蕴含着朴素贝叶斯算法最大的两个缺陷。首先，P(d| Ci)之所以能展开成（式1）的连乘积形式，就是假设一篇文章中的各个词之间是彼此独立的，其中一个词的出现丝毫不受另一个词的影响（回忆一下概率论中变量彼此独立的概念就可以知道），但这显然不对，即使不是语言学专家的我们也知道，词语之间有明显的所谓“共现”关系，在不同主题的文章中，可能共现的次数或频率有变化，但彼此间绝对谈不上独立。

其二，使用某个词在某个类别训练文档中出现的次数来估计P(wi|Ci)时，只在训练样本数量非常多的情况下才比较准确（考虑扔硬币的问题，得通过大量观察才能基本得出正反面出现的概率都是二分之一的结论，观察次数太少时很可能得到错误的答案），而需要大量样本的要不仅给前期人工分类的工作带来更高要（从而成本上升），在后期由计算机处理的时候也对存储和计算资源提出了更高的要。但是稍有常识的技术人员都会了解，数据挖掘中占用大量时间的部分是数据整理。在数据整理阶段，可以根据词汇的情况生成字典，删除冗余没有...

如何解决excel中的公式计算错误

方法如下：

1.错误值为【####！】该错误信息表示单元格中的数据太长或者公式中产生的结果值太大，以致单元格不能显示全部的内容。解决的方法是调整列宽，使得内容能够全部显示出来。

2.错误值为【#DIV/0】该错误信息表示公式中的除数为0，或者公式中的除数为空。解决方案是修改除数或者填写除数所引用的单元格。

3.错误值为【#NAME？】该错误信息表示公式中引用了一个无法识别的名称。当删除一个公式正在使用的名称或者在文本中有不相称的引用时，就会返回这种错误提示。

4.错误信息为【#NULL！】该错误信息表示在公式或者函数中使用了不正确的区域预算或者不正确的单元格引用。例如，余弦值只能在-1到+1之间，在得反余弦值时，如果超出这个范围就会提示报错。

5.错误信息为【#NUM！】该错误信息表示在需要数字参数的函数中使用了不能接受的参数；或者公式计算的结果值太大或太小，无法表示

6.错误值为【#REF！】这个错误信息表示公式中引用了一个无效的单元格。如果被引用的单元格被删除或者覆盖，公式所在单元格就会出现这样的信息。

7.错误值为【#VALUE！】该错误信息表示公式中含有一个错误类型的参数或者操作数。操作数是公式中用来计算结果的数值或者单元格引用。

minitab数据处理报错

在我之前的文章中，我们了解了一个很小的数据输入汪没错误是如何残忍地破坏统计分析工作的。如果那没有让你感到惊讶，这篇也许将会引起你足够的重视。数据输入错误的频率高达27%，即使是使用保守的“复式”方法来记录数据，每个数据值输入两次，这种情况也不容乐观。针对这种情况，我们能做些什么呢？难道是供养古希腊女神，用错觉、愚昧来掩盖不计后果的错误吗？首先，一些老派的建议是不可替代的，深吸一口气，卷起袖子，反复检查每一个观测数据。但假如你没有时间和精力这样去做呢？这里有三个简单的方法，我们可以通过使用Minitab迅速找出数据的异常值，以确保它们不会影响你的分析。1.使用图形化汇总如果你有测量（连续型）数据，我们要养成一个习惯，在分析之前，先使用图形化汇总来检查数据，而不是将数据视为神圣不可侵犯的东西。

我们可以选择统计>基本统计量>图形化汇总。通过查看最小值和最大值，以确保它们在正常范围内的。在箱线图中，对于你数据中的任何异常值都会用星号进行突显。你可以把光标移动到星号标识的点，以确定其数据值和在工作表中的位置。然后通过调查以确定它是否是一个错误，如果是错误，那么在分析数据之前需要更正或删除异常值。在这个例子中，显示了胆固醇值的汇总信息，Minitab软件把2098标志为异常值。注意，直方图出现了偏态分布，这是由一个异常值造成的。2运行计数如果你有类别数据，比如列中有一个文本值，那么计数是对你来说是很好的工具。使用统计>表格 >单变量计数来汇总所有列的离散值。如果你要执行的分析要是二项数据，比如是/否或通过/失败，而且遇到了类似错误，那么这个计数工具将非常有用。

当你尝试运执行双比率检验或二元Logistic回归分析时，可能会遇到这个问题。你很确定在列中只有两种类型的值，但是任何一个多余的空格或字符、小写或大写的误拼或其他错误都会产生另一个不同的值。3.设定公式困和纳通过使用Minitab计算器中的条件语句设定公式，你可以标记工作表中超乎寻常的数据。假如您想识别出在C1列数以万计的胆固醇总体中，数值小于100的“可疑值”。棚岩右键单击相邻的列（C2）和，选择列>>公式>>对列设定公式。在公式下的文本框中选择条件函数。然后填写下面的表达式：列条件语句中的第一个值和条件是你需要Minitab软件来寻找的内容；在逗号后面的第二个值，是显你想要显示的满足条件的结果。文本值用双引号表示。当你点击确定后，将会在相邻列（C2）中标记满足C1条件的任何值，而在当前指定情况下，任何值都小于100