ChatGPT批量下载网页内容：新手零基础自动化信息抓取实操详解教程

用好ChatGPT写Python抓取脚本，其实没那么玄乎——关键就三项参数：目标网址（得摸清分页规律）、识别依据（比如text里包含"Transcript"，或者rel="bookmark"这种特征）、本地保存路径（比方说E盘下的berkshire文件夹）。这几个东西不写清楚，脚本跑起来准报错。当然，跑之前还得顺手干几件事：查查目标站的robots.txt，装好requests、beautifulsoup4和lxml这三个库，再把output_folder路径改成真实可写的目录。

想象一下这个场景：你需要从几十个网页里批量搞到文字内容——播客逐字稿、股东大会纪要、博客文章……手动点开→复制→粘贴，效率低不说，还容易漏页、搞错文件名、保存失败。这时候，一个自动化的抓取脚本就是救星。

用ChatGPT生成Python抓取脚本

打开支持代码执行的ChatGPT（比如GPT-4 Turbo with Code Interpreter），一次性把完整指令砸进去——千万别分好几段发，上下文一断，生成的代码就缺关键逻辑。务必在提示词里写清楚三项硬性参数：【目标网址（含分页规律）】、【识别依据（如text含"Transcript"或rel="bookmark"）】、【本地保存路径（如E:berkshire）】。这三个缺一个，脚本要么跳链接，要么直接报AttributeError。等ChatGPT吐完整代码出来，先别急着跑，复制到VS Code里扫一眼——确认开头有requests、bs4、lxml的导入语句，没有就手动补上，不然后面全卡住。

适配真实网站结构的两种提取法

方法一：按链接文字精准定位（适用于lexfridman.com类播客站）
提示词关键句要这么写：“提取所有a标签中text为‘Transcript’的href值，再访问该href，取其title标签内容作文件名，下载HTML正文到指定文件夹”。这一手能精准避开无关导航链接，只抓纯文本页，避免把首页、侧边栏一并下载下来。

方法二：按rel属性批量抓取（适用于blog.umd.edu类博客站）
提示词关键句：“遍历https://blog.umd.edu/da vidkass/page/{1..2}/?s=Notes+From+Berkshire+Hathaway，提取每页中rel='bookmark'的a标签href和text，用text做文件名，下载对应网页HTML”。注意的是，Windows文件名里那些禁用字符（冒号、斜杠、星号、问号、双引号、竖线）必须替换成短横线，否则保存直接失败。

运行前必须完成的三件事

第一步：检查目标站robots.txt——访问https://blog.umd.edu/robots.txt，确认在User-agent: * 下面没禁止/disallow: /page/，否则脚本发出去的请求可能被服务器直接拒绝。

第二步：装好依赖库——在Python环境里执行pip install requests beautifulsoup4 lxml。跳过的后果是运行时报ModuleNotFoundError，而且错误信息不明确，容易让人误以为是代码本身有问题。

第三步：修正路径并确认权限——把生成代码里的output_folder改成你的真实路径，比如E:/berkshire，确认那个盘符存在且有写入权限；路径末尾不要加反斜杠，否则os.makedirs可能创建出嵌套的空文件夹。改完之后，在VS Code里右键运行就行。