推薦：SEO優(yōu)化之“不要輕易使用泛解析”
半夜三更的忽然想起這個老想提出或者大家都知道的問題！先續(xù)在這里，之后給予全面補充！什么是泛解析：嚴格來講，是這樣的：假如對abc.com解釋到0.0.0.0

什么是robots.txt文件?

搜索引擎通過一種程序robot（又稱spider），自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。
您可以在您的網(wǎng)站中創(chuàng)建一個純文本文件robots.txt，在這個文件中聲明該網(wǎng)站中不想被robot訪問的部分，這樣，該網(wǎng)站的部分或全部內(nèi)容就可以不被搜索引擎收錄了，或者指定搜索引擎只收錄指定的內(nèi)容。

因為剛寫了51是因為二級玉米泛濫和站點垃圾造成被封，去看見“眼鏡蛇”寫的是因為51的robots.txt的原因。

我仔細看了51的robots.txt而最后要駁反“眼鏡蛇”的判定和定論！

每個站點都必須要有robots.txt嗎？

不一定，看情況

那么robots.txt是針對任何搜索引擎嗎？

不一定，搜索引擎的概念是什么先搞明白！至少他有蜘蛛，并且遵循robots.txt語法。像百度，google,yahoo都遵循
官方的robots.txt

robots.txt放在哪里？

根目錄下，就是通過 http://www.abc.com/robots.txt等瀏覽訪問到的！

robots.txt怎么寫？

請查詢：http://www.robotstxt.org/

因為眼鏡蛇說百度殺了51是因為51的robots.txt

“51.com搜索消失原因是公司想借機炒作？”

（聯(lián)系到五一國慶左右百度大規(guī)模檢查并封殺作弊網(wǎng)站，開始讓業(yè)界以為51.com是百度懲罰的網(wǎng)站之一，
通過某朋友提示到51.com的robots.txt文件，讓大家明白了百度網(wǎng)站只收錄一頁的原因，
并不是搜索引擎人為所至，而是51.com自身原因。 ）

郁悶一：五一成“國慶”了！

郁悶二：robots.txt寫法遵循規(guī)則，搜索引擎也給予遵循！那么就是眼鏡蛇以上文章的判定錯誤！不是51的robots.txt錯誤！

分析反駁：

因為51的主頁都在home下或者這個二級玉米下，那么就這個來說！

1：http://www.51.com/robots.txt 18行

Disallow: /home/ （假設只針對百度，因為google 沒把51怎么著，而之后分析則套用google的一些現(xiàn)象對比百度，除非他們不是一樣性質(zhì)的遵循robots.txt的搜索引擎！）

百度給出的定義：

"Disallow:/help/"則答應robot訪問/help.html，而不能訪問/help/index.html

http://www.baidu.com/search/robots.html

那么就是說在http://www.51.com/home/index.htm/index.html/index.shtml不能被收錄，因為home目錄下無主頁！

http://www.51.com/home/index.htm 404錯誤
http://www.51.com/home/index.html 404錯誤
http://www.51.com/home/index.shtml 404錯誤
http://www.51.com/home/index.php 404錯誤
http://www.51.com/home/ 404錯誤

分享：優(yōu)化思路：搜索引擎算法之復制網(wǎng)頁
搜索引擎判定復制網(wǎng)頁一般都基于這么一個思想：為每個網(wǎng)頁計算出一組信息指紋（Fingerprint），若兩個網(wǎng)頁有一定數(shù)量相同的信息指紋，則認為這兩個網(wǎng)頁的內(nèi)容