判斷題

任何一條Disallow 記錄為空，都說明該網(wǎng)站的所有部分都允許被訪問。

答案：正確

你可能感興趣的試題

只要將User-agent 設(shè)為知名的用戶代理，爬蟲就能夠成功地偽裝成瀏覽器。

答案：正確

搜素引擎爬取到的網(wǎng)頁數(shù)據(jù)與瀏覽器得到的HTML 數(shù)據(jù)一定是不同的。

答案：錯(cuò)誤