如题所述
搜索引擎是如何判断你文章是否采集的？也就是要看搜索引擎是怎么查看原创的问题
在这个科技高度发达的时代，百度已经成为人们能获取消息的主要途径。但如今的百度，到处充斥着一些重复的内容，对用户的访问造成很大的困扰。因此，百度需要对网页重复进行判断，对重复的网页，只选取一些高质量的我那工业，共用户浏览。然而，现有技术中一般是通过比较两个页面的内容和借点，来确认两个页面的相似度。
这种方法能够计算的比较准确，可时间复杂度太高，计算很费时间。通过对一个页面中的某些重要信息进行签名，然后比较两个页面的签名，来计算相似度，这种方式比较简单高效，计算速度比较快，比较适合百度这种海量信息的应用场景。
1，网站重复内容的判断
A，获取多个网页;
B，分别提取网页的网页正文;
C，从网页正文中提取一个或多个句子，并根据一个或多个句子计算网页正文句子签名;
D，根据网页正文句子签名对多个网页进行聚类;
E，针对每一类下的网页，计算网页的附加签名;
F，根据附加签名判断每一类下的网页是否重复。
通过上述方式，网页重复的判断系统及其判断方法通过包括网页正文句子签名在内的多维度签名有效且快速地判断网页是否重复。
广告图
网站页面基本架构
提取正文
A，对网页进行分块;
B，对分块后的网页进行块过滤，以获取包含网页正文的内容快;
C，从内容块中提取网页正文。
正文分句
A，对网页正文进行分句;
在本步骤中，可利用分号，句号，感叹号等表示句子完结的标志符号来对网页正文进行分句。此外，还可以通过网页正文的视觉信息来对网页正文进行分句。
B，对分句后的网页正文进行过滤及转换;
在步骤中，首先过滤掉句子中的数字信息;版权信息以及其他对网页重复判断不起决定性作用的信息。随后，对句子进行转换，例如，进行全角/半角转换或者繁体/简体转换，以使得转换后的句子的格式统一。
C，从过滤及转换后的网页正文中提取最长的一个或多个句子;
在本步骤中，过滤及转换后的网页正文提取出最长的一个句子或者做场的预定数量连续句子的组合。例如，某个网页实例中，经过过滤及转换后的某段最长，远超其他句子，因此可选择该段为网页正文句子，或者选择最长的连续句子组合作为网页正文句子。
D，对一个或多个句子进行hash签名运算，以获取网页正文句子签名。
simhash算法就是比较各网页的附加签名是否相同或相似来判断网页是否重复。具体来说，在比较利用simhash签名运算获得的网页正文签名时，比较网页正文签名的不同位数，不同位越少，表示网页重复的可能性越高，在比较其他的附加签名时，若附加签名相等，表示网页在该纬度上重复。
总结：
1、两个网页的真实标题签名相同。
2、两个我那工业的网页内容签名相同。
3、两个网页的网页正文签名的不同位数小于6.。
4、两个网页的网页位置签名相同，并且url文件名签名相同。
5、评论块签名、资源签名、标签标题签名、摘要签名、url文件名签名中有三个签名相同。
附加信息整站判断重复标准：
通过两两页面比较，可以得到真重复url的集合。一般来说，如果这个真重复url集合中的网页的数量/整个网页集中网页的数量大于30%，则认为整个网页集都是真重复，否则就是假重复。
在这个科技高度发达的时代，百度已经成为人们能获取消息的主要途径。但如今的百度，到处充斥着一些重复的内容，对用户的访问造成很大的困扰。因此，百度需要对网页重复进行判断，对重复的网页，只选取一些高质量的我那工业，共用户浏览。然而，现有技术中一般是通过比较两个页面的内容和借点，来确认两个页面的相似度。
这种方法能够计算的比较准确，可时间复杂度太高，计算很费时间。通过对一个页面中的某些重要信息进行签名，然后比较两个页面的签名，来计算相似度，这种方式比较简单高效，计算速度比较快，比较适合百度这种海量信息的应用场景。
1，网站重复内容的判断
A，获取多个网页;
B，分别提取网页的网页正文;
C，从网页正文中提取一个或多个句子，并根据一个或多个句子计算网页正文句子签名;
D，根据网页正文句子签名对多个网页进行聚类;
E，针对每一类下的网页，计算网页的附加签名;
F，根据附加签名判断每一类下的网页是否重复。
通过上述方式，网页重复的判断系统及其判断方法通过包括网页正文句子签名在内的多维度签名有效且快速地判断网页是否重复。
广告图
网站页面基本架构
提取正文
A，对网页进行分块;
B，对分块后的网页进行块过滤，以获取包含网页正文的内容快;
C，从内容块中提取网页正文。
正文分句
A，对网页正文进行分句;
在本步骤中，可利用分号，句号，感叹号等表示句子完结的标志符号来对网页正文进行分句。此外，还可以通过网页正文的视觉信息来对网页正文进行分句。
B，对分句后的网页正文进行过滤及转换;
在步骤中，首先过滤掉句子中的数字信息;版权信息以及其他对网页重复判断不起决定性作用的信息。随后，对句子进行转换，例如，进行全角/半角转换或者繁体/简体转换，以使得转换后的句子的格式统一。
C，从过滤及转换后的网页正文中提取最长的一个或多个句子;
在本步骤中，过滤及转换后的网页正文提取出最长的一个句子或者做场的预定数量连续句子的组合。例如，某个网页实例中，经过过滤及转换后的某段最长，远超其他句子，因此可选择该段为网页正文句子，或者选择最长的连续句子组合作为网页正文句子。
D，对一个或多个句子进行hash签名运算，以获取网页正文句子签名。
simhash算法就是比较各网页的附加签名是否相同或相似来判断网页是否重复。具体来说，在比较利用simhash签名运算获得的网页正文签名时，比较网页正文签名的不同位数，不同位越少，表示网页重复的可能性越高，在比较其他的附加签名时，若附加签名相等，表示网页在该纬度上重复。
总结：
1、两个网页的真实标题签名相同。
2、两个我那工业的网页内容签名相同。
3、两个网页的网页正文签名的不同位数小于6.。
4、两个网页的网页位置签名相同，并且url文件名签名相同。
5、评论块签名、资源签名、标签标题签名、摘要签名、url文件名签名中有三个签名相同。
附加信息整站判断重复标准：
通过两两页面比较，可以得到真重复url的集合。一般来说，如果这个真重复url集合中的网页的数量/整个网页集中网页的数量大于30%，则认为整个网页集都是真重复，否则就是假重复。
温馨提示：答案为网友推荐，仅供参考
第1个回答 2011-01-07
内容一样，字符出现的次数一样
1、认定为原创文章的必要条件
假如这个网站没有被收录，这篇文章会认为是原创吗? 当然不会!因为它根本不可能出现在搜索引擎的数据库里!
那么，如何让它被认定成为原创内容呢?
第一个条件，网站必须有被搜索引擎收录。假如这个网站被收录了，但是不经常更新呢? 很简单，如果不经常更新，发表的文章到被蜘蛛搜索到并收录的时候也会认为是原创的。
2、转载与采集后原创的认定
如果这篇文章被转载了呢? 如果文章被转载，那么看转载这篇文章的站更新周期与首次发表这篇文章的站的更新周期哪个更快。
不太明白更新周期?举个例子说明：比如在A站发表，B站转载，如果蜘蛛先访问了A站，发现了文章，再来到B站发现了文章，很明显的，原创权重归A站。
那么采集的情况是否符合这种情况? 当然，采集的情况一样。如果B采集A，但B收录比A早，B就可能变成原创!
3、蜘蛛的访问时间
如果蜘蛛先访问了B站呢? 当然权重给B站，一般的情况下都会这样!
如果B站转载的文章带了A站的原文章页面链接呢? 这就很明白了，刚收录的时候，如果排名，两条结果一起出现，有可能还是B站的排名好一点。 当然，文章转载次数多了以后，A站的链接越多，对A站的文章越有好处，排名会慢慢变成A站在前面。
如果另外转载的文章带的是B站页面的链接呢? 这种情况就搞笑了，给搜索引擎开了个玩笑，但它们如果判断不好，就变成了一个链接流行度的比赛了。不过，如果都有很多外部链接，并且相差不大，那么判断的规则应该回到原点，谁先被收录谁就是原创。
4、网页快照生成的日期
搜索结果中网页快照日期显示时间最早的，一般就是原创了吧! 不一定，这个说法要在一个更新周期之内，比如说文章发表后一周内，快照时间越早的地址将越有被认可为原创的可能。 但如果文章都发表了几个月了，说不定搜索引擎已经重新获取过快照了，快照的日期就变了!
还有其它的可能吗? 有，比如百度收录，他可能会有一个收录的数据库，经过过滤后，收录的内容才会到搜索结果里来。在这个期间就有一些问题了，比如A站首次发表，B站转载。蜘蛛先访问A站再访问B站。而后可能先把B站的结果放出来了，而A站还在数据库里。
所以说搜索引擎没有收录并不表示搜索引擎蜘蛛没有访问过这些内容，也许在搜索引擎的库存里已经有记录了，只是你查的时间没有放出来而已，就像25号才放出来的内容，但是快照是20号的，这就是搜索引擎的库存内容，同时这也是检验原创的核心时间点。
这种情况一般出现在新站与老站之间，A站发表，B站转载，但A站在搜索引擎的信任度并不高的时候。不过只要是A站先被访问到的，原创权还是A站的，这是最难分出来的情况，因为我们不知道蜘蛛先访问哪个站，除非你知道两个站的网站空间日志内容，能看到搜索引擎对两个页面的访问时间。
5、文章的伪原创
伪原创也会被认为是原创?大多数时候是这样的，搜索引擎蜘蛛智力，你不要给予很高的期望，它就相当于三岁的小孩子，不能明确辨别这些内容是否一样，因为它的思维太程式化了。如果你把文章的标题修改过，把文章的段落、结构、顺序等修改过，甚至是两篇或多篇内容差不多的文章混合在一起加工过，那么搜索引擎的蜘蛛就很难判断这篇文章是否被收录，或许它可以判断出有部分内容是相似或重复的，但是它不能因为这些细微的相似，而将这篇经过“深加工”的伪原创文章判断为是转载!当然，搜索引擎程式设计中有一个相似度的东西，比如文字内容相似度超过百分之几就会被认为是转载。
1、认定为原创文章的必要条件
假如这个网站没有被收录，这篇文章会认为是原创吗? 当然不会!因为它根本不可能出现在搜索引擎的数据库里!
那么，如何让它被认定成为原创内容呢?
第一个条件，网站必须有被搜索引擎收录。假如这个网站被收录了，但是不经常更新呢? 很简单，如果不经常更新，发表的文章到被蜘蛛搜索到并收录的时候也会认为是原创的。
2、转载与采集后原创的认定
如果这篇文章被转载了呢? 如果文章被转载，那么看转载这篇文章的站更新周期与首次发表这篇文章的站的更新周期哪个更快。
不太明白更新周期?举个例子说明：比如在A站发表，B站转载，如果蜘蛛先访问了A站，发现了文章，再来到B站发现了文章，很明显的，原创权重归A站。
那么采集的情况是否符合这种情况? 当然，采集的情况一样。如果B采集A，但B收录比A早，B就可能变成原创!
3、蜘蛛的访问时间
如果蜘蛛先访问了B站呢? 当然权重给B站，一般的情况下都会这样!
如果B站转载的文章带了A站的原文章页面链接呢? 这就很明白了，刚收录的时候，如果排名，两条结果一起出现，有可能还是B站的排名好一点。 当然，文章转载次数多了以后，A站的链接越多，对A站的文章越有好处，排名会慢慢变成A站在前面。
如果另外转载的文章带的是B站页面的链接呢? 这种情况就搞笑了，给搜索引擎开了个玩笑，但它们如果判断不好，就变成了一个链接流行度的比赛了。不过，如果都有很多外部链接，并且相差不大，那么判断的规则应该回到原点，谁先被收录谁就是原创。
4、网页快照生成的日期
搜索结果中网页快照日期显示时间最早的，一般就是原创了吧! 不一定，这个说法要在一个更新周期之内，比如说文章发表后一周内，快照时间越早的地址将越有被认可为原创的可能。 但如果文章都发表了几个月了，说不定搜索引擎已经重新获取过快照了，快照的日期就变了!
还有其它的可能吗? 有，比如百度收录，他可能会有一个收录的数据库，经过过滤后，收录的内容才会到搜索结果里来。在这个期间就有一些问题了，比如A站首次发表，B站转载。蜘蛛先访问A站再访问B站。而后可能先把B站的结果放出来了，而A站还在数据库里。
所以说搜索引擎没有收录并不表示搜索引擎蜘蛛没有访问过这些内容，也许在搜索引擎的库存里已经有记录了，只是你查的时间没有放出来而已，就像25号才放出来的内容，但是快照是20号的，这就是搜索引擎的库存内容，同时这也是检验原创的核心时间点。
这种情况一般出现在新站与老站之间，A站发表，B站转载，但A站在搜索引擎的信任度并不高的时候。不过只要是A站先被访问到的，原创权还是A站的，这是最难分出来的情况，因为我们不知道蜘蛛先访问哪个站，除非你知道两个站的网站空间日志内容，能看到搜索引擎对两个页面的访问时间。
5、文章的伪原创
伪原创也会被认为是原创?大多数时候是这样的，搜索引擎蜘蛛智力，你不要给予很高的期望，它就相当于三岁的小孩子，不能明确辨别这些内容是否一样，因为它的思维太程式化了。如果你把文章的标题修改过，把文章的段落、结构、顺序等修改过，甚至是两篇或多篇内容差不多的文章混合在一起加工过，那么搜索引擎的蜘蛛就很难判断这篇文章是否被收录，或许它可以判断出有部分内容是相似或重复的，但是它不能因为这些细微的相似，而将这篇经过“深加工”的伪原创文章判断为是转载!当然，搜索引擎程式设计中有一个相似度的东西，比如文字内容相似度超过百分之几就会被认为是转载。
