抓取网页上公开可见的图片。涉及知识点:
- 异步编程:async和await进行异步编程,将耗时的操作放在后台线程中进行,并使用await关键字等待操作完成,不阻塞主线程的执行。
- HttpClient:用来发送http请求,并获取响应。可以使用GetAsync发送Get请求,并使用ReadAsStringAsync方法将响应内容读取为字符串。
- HttpResponseMessage:http响应的消息,其中包含响应的状态码、头信息、内容等。使用IsSuccessStatusCode判断响应是否成功。
- HtmlAgilityPack库:用来解析HTML文档,使用LoadHtml方法从字符串中加载html内容,并创建HtmlDocument对象。使用Descendants方法获取指定标签元素。
- Linq查询:获取img元素进行筛选和转换,使用Select获取每个img元素的src属性值,并使用Where进行过滤。
- 图片下载:使用HttpClient.GetAsync方法下载图片,并使用ReadAsStreamAsync方法将下载的图片内容作为流进行处理。使用Path类获取图片文件名和指定保存路径,使用FileStream类创建文件流将图片保存到本地。
- 异常处理:try-catch
csusing HtmlAgilityPack; public async void GetImagesFromWeb(string ip,string webPage)//ip,webPage:html网页 { string webUrl = ip+webPage; //抓取图片的网页url string saveDir = "E:\\File_work\\files\\ResultSaveDir\\ImagesFromWeb"; HttpClient httpClient = new HttpClient(); try { //向指定url发送HttpGet请求,并返回一个表示http响应的httpResponseMessage对象 HttpResponseMessage response =await httpClient.GetAsync(webUrl); //HttpResponseMessage包含了响应的状态码、头信息、内容等 if (response.IsSuccessStatusCode) //状态码为200-299,,则IsSuccessStatusCode属性为true { string htmlContent=await response.Content.ReadAsStringAsync();//将http响应的内容作为字符串读取 //使用HtmlAgilityPack解析html文档 HtmlDocument doc = new HtmlDocument(); doc.LoadHtml(htmlContent);//从字符串中加载html内容,并创建HtmlDocument对象 //获取img元素中的src属性,html中的img元素用于向网页中插入图像,src属性制定了要显示的图片文件的url var imageUrls = doc.DocumentNode.Descendants("img") //从根节点开始获取所有的img标签 .Select(img => img.GetAttributeValue("src", null))//获取每个img的src属性值 .Where(src => !string.IsNullOrEmpty(src)); foreach(var imgUrl in imageUrls) { try { HttpResponseMessage imgResponse=await httpClient.GetAsync(ip+imgUrl); if (imgResponse.IsSuccessStatusCode) { Stream imgStream=await imgResponse.Content.ReadAsStreamAsync(); //获取图片文件名 string imgName = Path.GetFileName(imgUrl); //指定保存路径 string savePath = Path.Combine(saveDir, imgName); FileStream fileStream = new FileStream(savePath,FileMode.Create); await imgStream.CopyToAsync(fileStream); } else { Console.WriteLine($"图片下载失败: {imgUrl}. 状态码: {imgResponse.StatusCode}"); } } catch(Exception ex) { Console.WriteLine($"图片下载出错: {imgUrl}: {ex.Message}"); } } Console.WriteLine($"{imageUrls.Count()} 图片下载成功."); } else { Console.WriteLine($"页面请求失败. 错误码: {response.StatusCode}"); } } catch(Exception ex) { Console.WriteLine(ex.Message); } }
C#语言练手小功能
赵 XiaoQin2024-01-11 17:27
相关推荐
泡泡鱼(敲代码中)4 小时前
MySQL基础学习笔记:从数据模型到DDL全掌握唐青枫5 小时前
别只会看日志:C#.NET SOS 调试扩展从 Dump 到内存泄漏排查潜创微科技6 小时前
IT6520:USB-C 转 MIPI 高集成控制器,DP 1.4a 转 MIPI 单芯片搞定 4K120 显示Escalating_xu6 小时前
【System V 信号量】从 P/V 原语到 Builder 封装:写出可控、可清理的进程互斥组件傲世仙尊6 小时前
System V 进程间通信详解:共享内存、消息队列与信号量(CSDN博客)cvby7 小时前
C++11ch.ju8 小时前
Java—idea知识:如何创建新项目Evand J8 小时前
【MATLAB例程,图像滤波降噪12】加权中值滑动窗口滤波(WMF)图像降噪,包含滤波质量评价。附代码下载链接Tairitsu_H8 小时前
[C++] C++11类和STL的新特性承渊政道8 小时前
Python IDLE鸿蒙PC适配全记录:从Tkinter桌面程序到ArkUI原生开发闭环