單項選擇題

某網(wǎng)站禁止百度蜘蛛索引所有網(wǎng)頁，以下robots.txt文件正確的是：（）

A.{User-agent：BaiduspiderDisallow：}
B.{User-agent：BaiduspiderAllow：*}
C.{User-agent：BaiduspiderAllow：/}
D.{User-agent：BaiduspiderDisallow：/}

你可能感興趣的試題

單項選擇題

某網(wǎng)頁不允許搜索引擎抓取，以下代碼正確的是：（）

A. <meta name="robots" content="nosnippet"/>
B. <meta name="robots" content="noarchive"/>
C. <meta name="robots" content="nofollow"/>
D. <meta name="robots" content="noindex"/>

單項選擇題

通常在網(wǎng)絡蜘蛛爬行的過程中，第一個獲取的網(wǎng)頁文字內容是：（）

A. <title>標簽中的內容
B. <meta>標簽中的內容
C. <body>標簽中的內容
D. <h1>標簽中的內容

某網(wǎng)站禁止百度蜘蛛索引所有網(wǎng)頁，以下robots.txt文件正確的是：（）

你可能感興趣的試題

某網(wǎng)頁不允許搜索引擎抓取，以下代碼正確的是：（）

通常在網(wǎng)絡蜘蛛爬行的過程中，第一個獲取的網(wǎng)頁文字內容是：（）

某網(wǎng)站禁止百度蜘蛛索引所有網(wǎng)頁，以下robots.txt文件正確的是：（）

某網(wǎng)頁不允許搜索引擎抓取，以下代碼正確的是：（）

通常在網(wǎng)絡蜘蛛爬行的過程中，第一個獲取的網(wǎng)頁文字內容是：（）