網頁源碼
打開網頁，按快捷鍵【Ctrl+U】打開源碼頁面
HTML
HTML 是整個網頁的結構，相當於整個網站的框架。帶“＜”、“＞”符號的都是屬於 HTML 的標籤，並且標籤都是成對出現的
常見的標籤如下：
<html>..</html> 表示標記中間的元素是網頁
<body>..</body> 表示用戶可見的內容
<div>..</div> 表示框架
<p>..</p> 表示段落
<li>..</li>表示列表
<img>..</img>表示圖片
<h1>..</h1>表示標題
<a href="">..</a>表示超鏈接 HTML
html示例
本地超鏈接可以爲相對路徑，也可以爲絕對路徑。
圖片的地址可以爲相對路徑，也可以爲絕對路徑。
<html>
<head>
<title>這是HTML測試頁面的主題</title>
</head>
<body>
<div>
<h1>這是標題</h1>
<p>這是正文</p>
</div>
<div>
<ul>
<li>這是一個列表</li>
<li><a href='https://www.dytt8.net/index0.html'>這是一個網絡超鏈接</a></li>
<li><a href='1.html'>這是一個本地超鏈接</a></li>
<li>下面這個是一張圖片</li>
<img src="20120830173930_PBfJE.jpeg" alt="如果圖像無法顯示，將顯示這個" />
</ul>
</div>
</body>
</html>輸入代碼後，保存記事本，然後修改文件名和後綴名爲"HTML.html"，效果如下：
爬蟲的合法性
每一個網站都有一個名爲 robots.txt 的文檔，當然也有部分網站沒有設定 robots.txt。對於沒有設定 robots.txt 的網站可以通過網絡爬蟲獲取沒有口令加密的數據，也就是該網站所有頁面數據都可以爬取。如果網站有 robots.txt 文檔，就要判斷是否有禁止訪客獲取的數據。
允許部分爬蟲訪問它的部分路徑，而對於沒有得到允許的，則全部禁止爬取