作為一個網站建設加優化的公司，是必須要回的就是robots.txt文件，所以我們就來看看這個文件的意思
robots.txt是一個純文本文件，用于聲明該網站中不想被蜘蛛訪問的部分，或者指定蜘蛛抓取的部分。不是規定，而是一種約定，需要蜘蛛自覺遵守的一種習俗
當蜘蛛訪問一個站點時，它會首先檢查該站點是否存在robots.txt
如果找到，蜘蛛就會按照該文件中的內容來確定抓取的范圍
如果該文件不存在，那么蜘蛛就沿著鏈接直接抓取
robots.txt的作用
1、防止私密或重要內容被搜索引擎抓取
2、節省服務器資源，從而提高服務質量
3、減少重復抓取，提高網站質量
4、指定sitemap文件位置
user-agent: *
針對哪個搜索引擎蜘蛛
這里的*代表搜索引擎種類，*是通配符
allow
定義的是允許蜘蛛抓取某個欄目或文件
allow: /cgi-bin/
這里定義是允許訪問cgi-bin目錄
allow:/* .htm$
允許訪問以.htm為后綴的url
$指的是匹配行結束符
*指的是匹配任何字符
disallow
定義的是禁止蜘蛛抓取某個欄目或文件
disallow: /admin/
這里定義是禁止抓取admin目錄
disallow: /cgi-bin/*.htm
禁止抓取/cgi-bin/目錄下的所有以.htm為后綴的url
disallow: /*?*
禁止抓取網站中所有包含問號 “?”的網址
用法：sitemap:http://www.google.com/sitemap.xml
sitemap：url全稱（包含http://部分）
告訴搜索引擎蜘蛛這個頁面是網站地圖
robots.txt文件主要是限制整個站點或者目錄的蜘蛛訪問情況，而robots meta標簽則主要是針對某個具體的頁面


研究表明公共云計算領先廠商全力提升市場份額
企業如何選擇最優的推廣方式？
網站落地頁設計技巧
網頁設計—全屏滾動效果
個人建站一定要學網站建設教程？掌握這四點流量成倍增！
網站制作前期準備工作
如何自學做好網頁設計
新聞動態網頁渲染的基本過程