安裝BeautifulSoup教學(環境：Visual Studio Code)

龍冥 — Sat, 15 May 2021 01:00:00 +0000

在開始python網頁爬蟲之前，需要先安裝其分析模組和取樣模組。

開啟visual studio code的終端機介面。
使用pip指令安裝beautifulsoup4，其目的是用來分析html資料。
- pip install beautifulsoup4
- C:\Users\User\AppData\Local\Programs\Python\Python39\Scripts
- (若遇到「無法辨識 ‘pip’ 詞彙是否為 Cmdlet、函數、指令檔或可執行程式的名稱。請檢查名稱拼字是否正確，如果包含路徑的話，請確認路徑是否正確，然後再試一次。」錯誤的話，請點及超連結)
使用pip指令安裝python的requests套件，其目的是將html資料抓回來顯示。
- pip install requests
嘗試執行以下程式碼，其程式目的是將莫凡提供的基礎網頁抓下來顯示其程式碼。

import requests
from bs4 import BeautifulSoup

res = requests.get("https://mofanpy.com/static/scraping/basic-structure.html")
soup = BeautifulSoup(res.text, "html.parser")
print(soup.prettify())  #輸出排版後的HTML內容5x

若輸出結果為，即為安裝完成！



 
  
  
   Scraping tutorial 1 | 莫烦Python
  
  
 
 
  
   爬虫测试1
  
  
   这是一个在
   
    莫烦Python
   
   
    爬虫教程
   
   中的简单测试.

如何使用Python的BeautifulSoup模組分析網頁中的標籤(CSS)？

龍冥 — Fri, 14 May 2021 12:30:13 +0000

若沒有安裝過lxml解析器，需先透過指令安裝

pip install lxml

前兩行先將BeautifulSoup以及urlopen函示庫匯入，因為網頁中包含中文字，因此讀取後會需要decode(‘utf-8’)編碼。
再將html資料將其印出，網站來源為莫凡python提供的測試網站

from bs4 import BeautifulSoup
from urllib.request import urlopen

# if has Chinese, apply decode()
html = urlopen("https://mofanpy.com/static/scraping/list.html").read().decode('utf-8')

print(html)

這段程式碼將class類別中為month的資料解析出來，並透過print(m.get_text())將有使用month這個類別的標籤全部顯示。

from bs4 import BeautifulSoup
from urllib.request import urlopen

# if has Chinese, apply decode()
html = urlopen("https://mofanpy.com/static/scraping/list.html").read().decode('utf-8')
# use class to narrow search
#尋找指定的class類別
soup = BeautifulSoup(html, features='lxml')
month = soup.find_all('li',{"class":"month"})
for m in month:
    print(m.get_text())

網頁爬蟲 – 龍冥 Blog

安裝BeautifulSoup教學(環境：Visual Studio Code)

爬虫测试1

如何使用Python的BeautifulSoup模組分析網頁中的標籤(CSS)？