5.爬蟲必備基礎知識(urllib&requests)一

在網路程式設計中，「網頁爬蟲」是一種自動化的軟體或腳本，它能夠從網路上抓取資料並進行分析與處理。爬蟲程式的主要功能就是透過HTTP協議來獲取網頁內容，並且可以解析HTML/XML文件以提取有用資訊。而在Python語言裡面，有兩種常見的庫可以用於執行這個任務—— urllib 和 requests 。以下將詳細介紹這兩個庫的基本使用方法以及各自的優缺點。

1. `urllib`

`urllib` 是Python標準庫中的一個集合，提供了許多用於操作URL的功能。其中最常用的是 `urllib.request` 模組，它可以幫助我們發送HTTP請求並接收回應訊息。以下是一些基本的用法示例：

import urllib.request

def get_page(url):
# 建立一個Request物件
req = urllib.request.Request(url)
# 如果需要，你可以設定User-Agent頭部參數來避免被網站封鎖
if 'User-Agent' not in req.headers:
req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36')
try:
# 下載資料
with urllib.request.urlopen(req) as fp:
return fp.read().decode('utf-8')
except Exception as e:
print('Error:', str(e))
return None

html = get_page('https://www.example.com')  # 換成你要爬取的實際URL
print(html)

2. `requests`

`requests` 是一個第三方庫，專為人性化地發送HTTP請求而設計。相比較而言，它的API更加易用且功能強大。以下是同樣功能的例子：

import requests

def get_page(url):
try:
response = requests.get(url, headers={'User-Agent': 'Mozilla/5.0'})
response.raise_for_status()
return response.text
except requests.exceptions.ConnectionError as err:
print(f"Couldn't reach the server: {err}")
return None
except requests.exceptions.HTTPError as http_err:
print(f"The server couldn't fulfill the request: {http_err}")
return None

html = get_page('https://www.example.com')
print(html)

比較與選擇

總結來說，雖然 `urllib` 是Python內建的，但它相對複雜且不易使用；相比之下，`requests` 的語法簡潔清晰，功能齊全，因此成為了開發者們的首選。然而，在一些特定情況下（例如當你想要完全控制請求過程或者需要依賴某些低層級特性時），`urllib` 可能會更合適。此外，如果你正在寫一個大型項目並且擔心第三方的庫可能會出現不穩定性問題，那麼 `urllib` 可能是更好的選擇。

總之，選擇哪一種庫取決於你的具體需求和你對代碼可維護性的要求。無論如何，熟悉這些基礎知識對於任何想深入研究網頁爬蟲技術的人都至關重要。