curl 获取 YouTube 网页内容：
为什么没内容、怎么解决
你用 curl 拉 YouTube 页面，返回的不是你在浏览器里看到的东西。这不是 bug，是 YouTube 的设计。本文解释原因，给出几个实用的调试方案。
先把最常见的命令跑一遍，看看实际会返回什么。
返回的内容要么是一大段几乎没有正文的 HTML，要么是一个同意 Cookie 的页面，要么是一个要求 JavaScript 的提示。视频标题、描述、评论？一个字都没有。
这不是 curl 的问题。原因在 YouTube 那边。
| 原因 | 具体表现 | 影响 |
|---|---|---|
| User-Agent 检测 | YouTube 识别出请求来自非浏览器客户端，返回简化页面或重定向 | 内容大量缺失 |
| JavaScript 动态渲染 | 页面的核心内容由 JS 在浏览器里执行后生成，curl 只拿到初始 HTML 骨架 | 视频信息、推荐列表不存在 |
| Cookie / 登录状态 | 没有 Cookie，YouTube 认为你是未登录的匿名请求，会先弹 consent 页 | 被重定向到同意条款页 |
| 地区检测 | 基于 IP 的地区判断，不同地区返回内容不同，部分内容有地区限制 | 内容不完整或被屏蔽 |
| 反爬虫机制 | 请求频率、请求头特征、TLS 指纹等都会触发限制 | 返回 429 或空内容 |
最简单的第一步。告诉 YouTube 你是一个正常的浏览器。
“https://www.youtube.com/watch?v=dQw4w9WgXcQ”
# -A 是 –user-agent 的简写
# 直接复制真实浏览器的 UA 字符串效果最好
加了 User-Agent 之后，返回内容会多一些，但仍然不完整。因为 JS 动态渲染的部分，curl 还是拿不到。
User-Agent 只是请求头的一个字段。YouTube 还会看 Accept-Language、Accept-Encoding、Referer 等字段，判断请求是否来自正常浏览器。
-H “User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/124.0.0.0 Safari/537.36” \
-H “Accept-Language: en-US,en;q=0.9” \
-H “Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8” \
-H “Referer: https://www.google.com/” \
“https://www.youtube.com/watch?v=dQw4w9WgXcQ”
# -s 静默模式，不显示进度条
# -L 跟随重定向
# -H 添加自定义请求头，可以多个 -H 叠加
这是真正有用的一个发现：YouTube 初始 HTML 里，有一段叫 ytInitialData 的 JSON，包含了视频标题、描述、频道名、观看数等基础信息。这段数据是服务端渲染的，curl 能拿到。
$ curl -s -L \
-A “Mozilla/5.0 Chrome/124.0.0.0 Safari/537.36” \
“https://www.youtube.com/watch?v=dQw4w9WgXcQ” > page.html
# 第二步：用 grep 找到 ytInitialData 所在行
$ grep -o ‘ytInitialData[^;]*’ page.html | head -c 500
# 第三步：用 Python 提取并格式化
$ python3 -c ” import re, json html = open(‘page.html’).read() m = re.search(r’ytInitialData\s*=\s*(\{.*?\});’, html, re.DOTALL) if m: data = json.loads(m.group(1)) # 视频标题路径 title = data[‘contents’][‘twoColumnWatchNextResults’]\ [‘results’][‘results’][‘contents’][0]\ [‘videoPrimaryInfoRenderer’][‘title’][‘runs’][0][‘text’] print(‘标题:’, title) “
ytInitialData 的 JSON 结构很深，字段路径会随着 YouTube 改版而变。提取前先把整个 JSON 打印出来看一遍结构，不要硬猜。
如果你的目标是拿视频元数据（标题、描述、时长、字幕等），不是分析 HTTP 请求本身，有一个专门的工具比 curl 更合适：yt-dlp。
$ pip install yt-dlp
# 只获取 JSON 格式的元数据，不下载视频
$ yt-dlp –dump-json –no-playlist \
“https://www.youtube.com/watch?v=dQw4w9WgXcQ”
# 只打印标题
$ yt-dlp –print title “https://www.youtube.com/watch?v=dQw4w9WgXcQ”
# 获取字幕列表
$ yt-dlp –list-subs “https://www.youtube.com/watch?v=dQw4w9WgXcQ”
不知道 curl 返回什么、为什么返回这个，先加 -v。这是调试 HTTP 请求最基本的手段。
-A “Mozilla/5.0 Chrome/124.0.0.0” \
“https://www.youtube.com/watch?v=dQw4w9WgXcQ” 2>&1 | head -60
# -v 输出请求头、响应头、状态码
# 2>&1 把 stderr 合并到 stdout
# head -60 只看前 60 行，不被大量 HTML 淹没
# 重点看这几行：
> GET /watch?v=… HTTP/2 # 你发出的请求
< HTTP/2 200 # 状态码，200=正常，302=重定向，429=限速
< content-type: text/html # 返回内容类型
< set-cookie: … # 服务器想设置的 Cookie
-H "Cookie: CONSENT=YES+1" 绕过，或者加 -L 跟随重定向后再看内容。grep ytInitialData page.html 确认这段数据有没有在 HTML 里。curl --cookie cookies.txt 带上。格式用 Netscape cookie 格式，浏览器插件”Get cookies.txt”可以直接导出。用 curl 访问 YouTube 页面做技术学习和调试完全正当。但大规模、高频率地抓取 YouTube 内容违反其服务条款（ToS）。学习请求原理可以，商业爬取不可以。YouTube 提供了官方 Data API v3，正式项目建议走 API。
用 curl 抓 YouTube 的开发者，大多数真正想要的是：视频元数据（标题/描述/时长）→ 用 yt-dlp –dump-json；字幕文本 → 用 yt-dlp –write-auto-sub；大量视频数据 → 用 YouTube Data API v3（免费，有配额）；学习 HTTP 请求原理 → curl -v 配合 Wireshark 才是完整的学习路径。
