如何快速copy复制一个网站,或是将网站本地静态化访问

大家好,我是1024小神,技术群 / 私活群 / 股票群 或 交朋友 都可以私信我。

如果你觉得本文有用,一键三连 (点赞、评论、关注),就是对我最大的支持~

比如你想快速将buffer.com/open 这个网站本地化访问,或者是想快速copy一个一模一样的网站出来,就可以使用这个教程来做,支持将整个网站copy,也支持只copy某些页面,最好是copy一个静态类型的网站,例如文档类等,如果是动态类型的网站,可能需要依赖接口来提供数据支撑才可以显示页面内容,这种就需要二次修改,这个也可以做,但是相对麻烦,如果你想copy一个动态网站,理论上你应该是想要他的网站样式,而不是他的数据,因为数据不太好本地化处理。

copy静态网站

使用的工具就是wget,非常牛逼,没有之一,使用方式和参数解释可以看这篇文章:juejin.cn/post/754290...

强烈不建议复制整个网站,因为这会非常慢,并且下载到的内容非常大:

如果我只想下载某个页面内容的html/css/js等文件

命令:

diff 复制代码
wget -p -k -E https://example.com/page

参数解释:
	
-p (page-requisites)下载显示该页面所需的所有资源(CSS、JS、图片)。
	
-k (convert-links)把网页里的链接改成本地相对路径,这样离线打开不会跳外网。
	
-E (adjust-extension)自动给文件加 .html 后缀,保证浏览器能识别。

如果我只想下载某个页面及其一级子页面内容的html/css/js等文件:

diff 复制代码
wget -r -l 1 -p -k -E https://example.com/page


参数解释

-r (recursive)递归下载。

-l 1 (level=1)递归深度为 1

如果只想下载某些页面及其页面内容:

perl 复制代码
wget -p -k -E https://buffer.com/open https://buffer.com/metrics https://buffer.com/shareholders https://buffer.com/salaries https://buffer.com/about https://buffer.com/transparent-pricing https://buffer.com/timeoff https://buffer.com/metrics https://buffer.com/books https://buffer.com/resources/open/

如果页面很多,可以写在文件里

比如把要下载的 URL 写到 urls.txt:

arduino 复制代码
https://example.com/page1
https://example.com/page2
https://example.com/page3

然后执行:

css 复制代码
wget -p -k -E -i urls.txt

如果支持某些页面,执行完后,会提示完成,就可以打开对应的文件夹里面的文件访问了:

使用浏览器打开html文件或者启动一个服务都可以:

如果某些数据需要通过接口来获取并展示,比如图表这些,就需要二次处理了,你可以将下载到的html内容集成到vue/react项目中,当作模板,然后请求接口或自己的接口来实现数据获取,并通过echart来绘制图表内容,这过程中记得还要将css/js等依赖文件也配置到vue/react项目中,这样才不会出现样式错乱问题:

copy动态网站

如果你copy的网站是动态的,比如使用vue/react写的,那么不太推荐使用wget,你应该使用支持无头浏览器(Headless Browser)的工具 。这些工具会实际运行JavaScript,等待页面完全渲染后再下载内容。使用 puppeteer/playwright + 自定义脚本(专业推荐)

更推荐使用playwright,因为很方便:github.com/microsoft/p...

如果你有好的想法或需求,可以私信我,我这里有很多程序员朋友可以帮你实现你的想法。

相关推荐
FRing037 分钟前
JavaScript入门到精通三十三(异常处理、call方法、apply方法、bind方法、防抖、节流)
开发语言·前端·javascript
计算机魔术师1 小时前
OpenAI 砍掉 100 亿融资目标,AI 资本市场的温度计变了
前端
jktantan1 小时前
(二)Vue 3 的 attrs 不是响应式:el-form 扩展属性同步的三种方案
前端·javascript·vue.js·element-plus
前端 贾公子2 小时前
第 5 章:Codex 从可运行程序到可交付工具
java·前端·数据库
用户360055579002 小时前
Kestrel_VLLM - 26 · 发射空档三步曲:事件计时 → nsys → 判别实验
前端
echome8882 小时前
JavaScript async/await 错误处理:别让 Promise 静默失败
开发语言·前端·javascript·promise
PedroQue992 小时前
v0.2.0 架构升级:class + reactive 重塑状态管理
前端·uni-app
鶴哥只手遮天2 小时前
Angular 22 源码级深度解析-第 02 章 编译链路总览:从模板字符串到 `ɵɵ` 指令
前端·开源·angular.js
尘世中一位迷途小书童2 小时前
别再堆万字 Prompt:用 Agent Skills 给团队写一个「前端 Review」Skill
前端·ai编程·cursor
aixingpan2 小时前
aixingpan.cn API开发文档:api_docs_bichart_common2接口指南
前端·php