20 分钟

实战专项

BeautifulSoup 解析

解析 HTML 提取数据

HTML 结构和 DOM
使用 BeautifulSoup 查找元素
提取属性和文本

HTML 解析概念

示例代码（可运行）

Python 0%

1# BeautifulSoup概念演示

2print("""BeautifulSoup核心API：

3from bs4 import BeautifulSoup

4soup = BeautifulSoup(html, "html.parser")

5soup.find("div", class_="title")

6soup.find_all("a")

7soup.select(".class") # CSS选择器

8element.text # 文本

9element["href"] # 属性""")

11# 用内置html.parser模拟解析

12from html.parser import HTMLParser

14class LinkParser(HTMLParser):

15 def __init__(self):

16 super().__init__()

17 self.links = []

18 self.in_a = False

19 def handle_starttag(self, tag, attrs):

20 if tag == "a":

21 self.in_a = True

22 for name, value in attrs:

23 if name == "href":

24 self.links.append(value)

25 def handle_endtag(self, tag):

26 if tag == "a":

27 self.in_a = False

29html = '<a href="/home">首页</a> <a href="/about">关于</a> <a href="https://example.com">外链</a>'

30parser = LinkParser()

31parser.feed(html)

32print("找到的链接:")

33for link in parser.links:

34 print(f" {link}")

CSS 选择器

示例代码（可运行）

Python 0%

1# 模拟CSS选择器提取数据

2html_content = """

3<div class="article">

4 <h2 class="title">Python入门</h2>

5 <span class="author">小明</span>

6 <span class="date">2024-01-15</span>

7 <p class="summary">学习Python基础语法</p>

8</div>

9"""

11# 用正则模拟提取

12import re

13title = re.search(r'class="title">([^<]+)', html_content)

14author = re.search(r'class="author">([^<]+)', html_content)

15print(f"标题: {title.group(1)}")

16print(f"作者: {author.group(1)}")

预测输出

import re
print(re.findall(r"<b>(\w+)</b>", "<b>a</b><b>b</b>"))

填空题填写空白处的代码

soup.find_all("a") # 找所有标签

选择题

获取元素文本用？

资深工程师加餐

底层原理 · 大厂视角 · 工程经验，点卡片展开

从输入网址到看到结果，大致是：DNS 解析拿到 IP → TCP 三次握手 →（HTTPS 还要 TLS 协商）→ 发出请求 → 服务端经过中间件、路由、业务逻辑、查库 → 返回响应 → 连接复用或四次挥手。理解状态码、幂等方法（GET/PUT/DELETE）与非幂等（POST），是做 Web 和联调的基本功。

挑战任务

爬虫挑战

简单+50 XP

从HTML中提取文章标题和链接。

爬虫挑战

Python 0%

2 个测试用例

课后作业

图片爬虫

中等+20 XP

提取页面中所有图片URL。

图片爬虫

Python 0%

1 个测试用例