用Swift库写爬虫采集统计局公开数据

国家统计局公开的信息还是比较真实准确的，他可以给一个行业带来一些参考性意见。因此，有公司找上我，让我爬取一些行业数据，因为是老客户了也就没推辞，但是因为最近也比较忙，也就利用晚上时间加个班搞下。

首先，我们需要导入必要的库，包括SwiftSoup和SwiftyJSON。SwiftSoup是一个强大的库，用于在Swift中解析HTML和XML文档。SwiftyJSON是一个Swift版的JSON解析器，可以很容易地将JSON数据转换为Swift对象。

swift 复制代码

import SwiftSoup
import SwiftyJSON

然后，我们需要设置代理。在这个例子中，我们使用的是duoip的代理，端口是8000。

swift 复制代码

let proxyHost = "duoip"
let proxyPort = 8000
提取/免/费IP  //  jshk.com.cn/mb/reg.asp?kefu=xjy&csdn
let proxy = CFNetwork.CFProxyType(type: CFNetwork.kCFProxyTypeHTTP, subType: 0)
let proxySettings = CFNetwork.CFProxySettings()
proxySettings.host = proxyHost
proxySettings.port = Int32(proxyPort)
CFNetwork.CFNetworkSetGlobalProxySettings(proxySettings)

接下来，我们需要获取统计局网站的HTML文档。我们将使用SwiftSoup来解析这个文档。

swift 复制代码

let url = URL(string: "http://data.stats.gov.cn/zhengcehuobisi/2017/index.html")
let task = URLSession.shared.dataTask(with: url!) { (data, response, error) in
    if let error = error {
        print("Error: \(error.localizedDescription)")
        return
    }
    guard let data = data else {
        print("Data not found")
        return
    }
    do {
        let doc: Document = try SwiftSoup.parse(data)
        // 我们在这里解析HTML文档
    } catch let error {
        print("Error parsing HTML: \(error.localizedDescription)")
    }
}
task.resume()

最后，我们需要使用SwiftyJSON来解析JSON数据。在这个例子中，我们假设JSON数据包含在HTML文档中的<script>标签中。

swift 复制代码

let scriptElement = doc.select("script").first()
if let scriptNode = scriptElement?.html, let json = try? JSON(data: scriptNode) {
    // 我们在这里解析JSON数据
}

这就是一个简单的Swift爬虫程序的基本框架。请注意，这只是一个基本的示例，实际的爬虫程序可能需要更复杂的逻辑，例如处理重定向，处理JavaScript，处理动态内容，等等。此外，爬虫行为可能受到网站的robots.txt文件的限制，因此在编写爬虫程序时，需要遵守网站的robots.txt文件的规则。

其实只要遵守网站规则，并且利用爬虫IP就能实现实时抓取信息，虽说只是一个基本的爬虫模版，但是相对于新手来说，只要稍微修改下就可以使用，而且爬虫模版兼容性非常好，适合随时拓展增加代码。当然了，如果有任何问题都可以评论区留言一起讨论。