Source from repo

Web Content Fetcher — 网页正文提取

Extract clean Markdown content from any URL using a three-tier strategy: Jina Reader, Scrapling, or web_fetch.

shirenchuangGitHub shirenchuangSource repo Original GitHub link Publisher page

Files

Skill

n/a

Size

55.4 KB

Entrypoint

SKILL.md

Format

git-repo

Open file

README.md

Syntax-highlighted preview of this file as included in the skill package.

Rendered Source

markdown215 linesFree

README.md

1<div align="center">
2 
3# Web Content Fetcher
4 
5**网页正文提取 · 永久免费 · 支持微信公众号**
6 
7[![Python](https://img.shields.io/badge/Python-3.10%2B-blue?logo=python&logoColor=white)](https://www.python.org/)
8[![License](https://img.shields.io/badge/License-MIT-green.svg)](LICENSE)
9 
10</div>
11 
12---
13 
14## 简介
15 
16Web Content Fetcher 是一个轻量级的网页正文提取工具，能够自动将任意网页转换为干净的 Markdown 格式，保留标题、链接、图片和列表结构。
17 
18**核心优势：**
19- Scrapling 优先提取，内置 fast / stealth 双模式，自动降级
20- Jina Reader 作为二级备选
21- 完美支持微信公众号、掘金、CSDN 等国内平台
22- 返回标准 Markdown 格式，便于后续处理
23- 零配置，开箱即用
24 
25---
26 
27## 安装
28 
29### 方式一：一键安装（推荐）
30 
31访问 [skills.sh](https://skills.sh/shirenchuang/web-content-fetcher/web-content-fetcher) 页面，按提示一键安装。
32 
33### 方式二：命令行安装
34 
35```bash
36npx skills add https://github.com/shirenchuang/web-content-fetcher --skill web-content-fetcher
37```
38 
39### 方式三：手动安装
40 
41```bash
42# Clone
43git clone https://github.com/shirenchuang/web-content-fetcher.git
44 
45# Copy to Claude Code skills directory
46cp -r web-content-fetcher ~/.claude/skills/
47```
48 
49### 安装 Python 依赖
50 
51```bash
52pip install scrapling html2text
53```
54 
55> **注意**：在系统管理的 Python (macOS/Linux) 上，加 `--break-system-packages` 或使用 venv。
56 
57---
58 
59## 使用方式
60 
61### 在 Claude Code 中使用
62 
63直接告诉 AI 你要读取的 URL，会自动选择最佳方案：
64 
65```
66帮我读取这篇文章：https://mp.weixin.qq.com/s/EwVItQH4JUsONqv_Fmi4wQ
67Extract the content from https://openai.com/blog/gpt-4o
68```
69 
70### 命令行单独使用
71 
72```bash
73# 基础用法（自动选择 fast 或 stealth 模式）
74python3 scripts/fetch.py https://sspai.com/post/73145
75 
76# 强制 stealth 模式（用于 JS 渲染页面）
77python3 scripts/fetch.py https://mp.weixin.qq.com/s/xxx --stealth
78 
79# 限制输出字符数（默认 30000）
80python3 scripts/fetch.py https://example.com/article 15000
81 
82# JSON 输出（含 url, mode, selector, content_length）
83python3 scripts/fetch.py https://example.com --json
84 
85# 输出到文件
86python3 scripts/fetch.py https://example.com/article > output.md
87```
88 
89---
90 
91## 提取策略
92 
93```
94URL 输入
95    │
96    ▼
97┌─────────────────────────────────────┐
98│  1. Scrapling（首选）                │
99│     · fast 模式：~1-3s，大部分网站   │
100│     · stealth 模式：~5-15s，JS 渲染  │
101│     · 内容太少时自动 fast → stealth   │
102└─────────────────────────────────────┘
103    │ 失败 / 未安装依赖
104    ▼
105┌─────────────────────────────────────┐
106│  2. Jina Reader（备选）              │
107│     · 速度快（~1-2s），格式干净      │
108│     · 免费额度：200次/天             │
109│     · 不支持：微信公众号、部分国内站  │
110└─────────────────────────────────────┘
111```
112 
113### 域名路由
114 
115| 域名 | 模式 | 说明 |
116|------|------|------|
117| `mp.weixin.qq.com` | `--stealth` | JS 渲染内容 |
118| `zhuanlan.zhihu.com` | `--stealth` | 反爬 + JS |
119| `juejin.cn` | `--stealth` | JS 渲染 SPA |
120| `sspai.com` | fast | 静态 HTML |
121| `blog.csdn.net` | fast | 静态 HTML |
122| 其他 | fast | 自动降级 |
123 
124---
125 
126## 支持平台
127 
128### 国内平台
129 
130| 平台 | 模式 | 状态 | 说明 |
131|------|------|:----:|------|
132| 微信公众号 (mp.weixin.qq.com) | fast | ✅ | 正文完整提取 |
133| 掘金 (juejin.cn) | stealth (auto) | ✅ | 自动降级到 stealth |
134| CSDN (blog.csdn.net) | fast | ✅ | 正文精准提取 |
135| 少数派 (sspai.com) | fast | ✅ | article 选择器命中 |
136| 博客园 (cnblogs.com) | fast | ✅ | 文章列表和正文 |
137| 知乎 (zhihu.com) | stealth | ✅ | 需有效 URL |
138| 36氪 (36kr.com) | fast | ✅ | 需有效文章 URL |
139| 今日头条 (toutiao.com) | stealth | ✅ | JS 渲染，需有效文章 URL |
140| InfoQ 中文 (infoq.cn) | stealth (auto) | ✅ | 需有效文章 URL |
141| 网易 (163.com) | fast | ✅ | 需有效文章 URL |
142| 小红书 | - | ❌ | 需登录态 |
143 
144### 海外平台
145 
146| 平台 | 模式 | 状态 | 说明 |
147|------|------|:----:|------|
148| OpenAI Blog | fast | ✅ | article 选择器命中 |
149| Google Blog | fast | ✅ | article 选择器命中 |
150| Nature | fast | ✅ | 论文摘要完整 |
151| arXiv | fast | ✅ | 标题/作者/摘要 |
152| GitHub | fast | ✅ | README 完整提取 |
153| Next.js Blog | fast | ✅ | article 选择器命中 |
154| React Docs (react.dev) | fast | ✅ | 文档正文清晰 |
155| MDN Web Docs | fast | ✅ | main 选择器命中 |
156| Python Docs | fast | ✅ | 目录和正文 |
157| Paul Graham Essays | fast | ✅ | 经典静态页 |
158| 阮一峰博客 | fast | ✅ | 周刊完整提取 |
159| Claude Code Docs | fast | ✅ | 文档正文 |
160| Product Hunt | stealth | ⚠️ | Cloudflare 验证拦截 |
161| more... | | | |
162 
163---
164 
165## 输出格式
166 
167返回标准 Markdown，自动保留：
168 
169- **标题层级**：`# ## ###`
170- **超链接**：`[文字](url)`
171- **图片**：`![alt](url)`（data-src 懒加载自动处理）
172- **列表、代码块、引用块**
173 
174---
175 
176## 相关项目
177 
178### [Kuaifa（快发）](https://github.com/shirenchuang/kuaifa) — 公众号一键排版发布
179 
180如果你需要将 Markdown 文章发布到微信公众号，推荐使用 **Kuaifa**：
181 
182- 一键 Markdown 排版，支持多种主题
183- 自动上传图片到 CDN
184- 一键创建公众号草稿
185- 支持预览和发布
186 
187```bash
188pip install kuaifa
189kuaifa publish your-article.md
190```
191 
192---
193 
194## 作者
195 
196<div align="center">
197 
198**石臻说AI**
199 
200AI科技博主 · 10+年大厂AI提效专家
201 
202专注于个人提效、超级个体、AI 资讯
203 
204<img src="qrcode_for_shizhen.jpg" width="200" alt="公众号二维码"/>
205 
206*扫码关注公众号*
207 
208</div>
209 
210---
211 
212## License
213 
214MIT
215

Marketplace

Source from repo

Web Content Fetcher — 网页正文提取

Extract clean Markdown content from any URL using a three-tier strategy: Jina Reader, Scrapling, or web_fetch.

shirenchuangGitHub shirenchuangSource repo Original GitHub link Publisher page

Files

Skill

n/a

Size

55.4 KB

Entrypoint

SKILL.md

Format

git-repo

Open file

README.md

Syntax-highlighted preview of this file as included in the skill package.

Rendered Source

markdown215 linesFree

README.md

1<div align="center">
2 
3# Web Content Fetcher
4 
5**网页正文提取 · 永久免费 · 支持微信公众号**
6 
7[![Python](https://img.shields.io/badge/Python-3.10%2B-blue?logo=python&logoColor=white)](https://www.python.org/)
8[![License](https://img.shields.io/badge/License-MIT-green.svg)](LICENSE)
9 
10</div>
11 
12---
13 
14## 简介
15 
16Web Content Fetcher 是一个轻量级的网页正文提取工具，能够自动将任意网页转换为干净的 Markdown 格式，保留标题、链接、图片和列表结构。
17 
18**核心优势：**
19- Scrapling 优先提取，内置 fast / stealth 双模式，自动降级
20- Jina Reader 作为二级备选
21- 完美支持微信公众号、掘金、CSDN 等国内平台
22- 返回标准 Markdown 格式，便于后续处理
23- 零配置，开箱即用
24 
25---
26 
27## 安装
28 
29### 方式一：一键安装（推荐）
30 
31访问 [skills.sh](https://skills.sh/shirenchuang/web-content-fetcher/web-content-fetcher) 页面，按提示一键安装。
32 
33### 方式二：命令行安装
34 
35```bash
36npx skills add https://github.com/shirenchuang/web-content-fetcher --skill web-content-fetcher
37```
38 
39### 方式三：手动安装
40 
41```bash
42# Clone
43git clone https://github.com/shirenchuang/web-content-fetcher.git
44 
45# Copy to Claude Code skills directory
46cp -r web-content-fetcher ~/.claude/skills/
47```
48 
49### 安装 Python 依赖
50 
51```bash
52pip install scrapling html2text
53```
54 
55> **注意**：在系统管理的 Python (macOS/Linux) 上，加 `--break-system-packages` 或使用 venv。
56 
57---
58 
59## 使用方式
60 
61### 在 Claude Code 中使用
62 
63直接告诉 AI 你要读取的 URL，会自动选择最佳方案：
64 
65```
66帮我读取这篇文章：https://mp.weixin.qq.com/s/EwVItQH4JUsONqv_Fmi4wQ
67Extract the content from https://openai.com/blog/gpt-4o
68```
69 
70### 命令行单独使用
71 
72```bash
73# 基础用法（自动选择 fast 或 stealth 模式）
74python3 scripts/fetch.py https://sspai.com/post/73145
75 
76# 强制 stealth 模式（用于 JS 渲染页面）
77python3 scripts/fetch.py https://mp.weixin.qq.com/s/xxx --stealth
78 
79# 限制输出字符数（默认 30000）
80python3 scripts/fetch.py https://example.com/article 15000
81 
82# JSON 输出（含 url, mode, selector, content_length）
83python3 scripts/fetch.py https://example.com --json
84 
85# 输出到文件
86python3 scripts/fetch.py https://example.com/article > output.md
87```
88 
89---
90 
91## 提取策略
92 
93```
94URL 输入
95    │
96    ▼
97┌─────────────────────────────────────┐
98│  1. Scrapling（首选）                │
99│     · fast 模式：~1-3s，大部分网站   │
100│     · stealth 模式：~5-15s，JS 渲染  │
101│     · 内容太少时自动 fast → stealth   │
102└─────────────────────────────────────┘
103    │ 失败 / 未安装依赖
104    ▼
105┌─────────────────────────────────────┐
106│  2. Jina Reader（备选）              │
107│     · 速度快（~1-2s），格式干净      │
108│     · 免费额度：200次/天             │
109│     · 不支持：微信公众号、部分国内站  │
110└─────────────────────────────────────┘
111```
112 
113### 域名路由
114 
115| 域名 | 模式 | 说明 |
116|------|------|------|
117| `mp.weixin.qq.com` | `--stealth` | JS 渲染内容 |
118| `zhuanlan.zhihu.com` | `--stealth` | 反爬 + JS |
119| `juejin.cn` | `--stealth` | JS 渲染 SPA |
120| `sspai.com` | fast | 静态 HTML |
121| `blog.csdn.net` | fast | 静态 HTML |
122| 其他 | fast | 自动降级 |
123 
124---
125 
126## 支持平台
127 
128### 国内平台
129 
130| 平台 | 模式 | 状态 | 说明 |
131|------|------|:----:|------|
132| 微信公众号 (mp.weixin.qq.com) | fast | ✅ | 正文完整提取 |
133| 掘金 (juejin.cn) | stealth (auto) | ✅ | 自动降级到 stealth |
134| CSDN (blog.csdn.net) | fast | ✅ | 正文精准提取 |
135| 少数派 (sspai.com) | fast | ✅ | article 选择器命中 |
136| 博客园 (cnblogs.com) | fast | ✅ | 文章列表和正文 |
137| 知乎 (zhihu.com) | stealth | ✅ | 需有效 URL |
138| 36氪 (36kr.com) | fast | ✅ | 需有效文章 URL |
139| 今日头条 (toutiao.com) | stealth | ✅ | JS 渲染，需有效文章 URL |
140| InfoQ 中文 (infoq.cn) | stealth (auto) | ✅ | 需有效文章 URL |
141| 网易 (163.com) | fast | ✅ | 需有效文章 URL |
142| 小红书 | - | ❌ | 需登录态 |
143 
144### 海外平台
145 
146| 平台 | 模式 | 状态 | 说明 |
147|------|------|:----:|------|
148| OpenAI Blog | fast | ✅ | article 选择器命中 |
149| Google Blog | fast | ✅ | article 选择器命中 |
150| Nature | fast | ✅ | 论文摘要完整 |
151| arXiv | fast | ✅ | 标题/作者/摘要 |
152| GitHub | fast | ✅ | README 完整提取 |
153| Next.js Blog | fast | ✅ | article 选择器命中 |
154| React Docs (react.dev) | fast | ✅ | 文档正文清晰 |
155| MDN Web Docs | fast | ✅ | main 选择器命中 |
156| Python Docs | fast | ✅ | 目录和正文 |
157| Paul Graham Essays | fast | ✅ | 经典静态页 |
158| 阮一峰博客 | fast | ✅ | 周刊完整提取 |
159| Claude Code Docs | fast | ✅ | 文档正文 |
160| Product Hunt | stealth | ⚠️ | Cloudflare 验证拦截 |
161| more... | | | |
162 
163---
164 
165## 输出格式
166 
167返回标准 Markdown，自动保留：
168 
169- **标题层级**：`# ## ###`
170- **超链接**：`[文字](url)`
171- **图片**：`![alt](url)`（data-src 懒加载自动处理）
172- **列表、代码块、引用块**
173 
174---
175 
176## 相关项目
177 
178### [Kuaifa（快发）](https://github.com/shirenchuang/kuaifa) — 公众号一键排版发布
179 
180如果你需要将 Markdown 文章发布到微信公众号，推荐使用 **Kuaifa**：
181 
182- 一键 Markdown 排版，支持多种主题
183- 自动上传图片到 CDN
184- 一键创建公众号草稿
185- 支持预览和发布
186 
187```bash
188pip install kuaifa
189kuaifa publish your-article.md
190```
191 
192---
193 
194## 作者
195 
196<div align="center">
197 
198**石臻说AI**
199 
200AI科技博主 · 10+年大厂AI提效专家
201 
202专注于个人提效、超级个体、AI 资讯
203 
204<img src="qrcode_for_shizhen.jpg" width="200" alt="公众号二维码"/>
205 
206*扫码关注公众号*
207 
208</div>
209 
210---
211 
212## License
213 
214MIT
215

Web Content Fetcher — 网页正文提取

README.md

Preparing the source view

Web Content Fetcher — 网页正文提取

README.md