解决Scrapy下载图片时, 报错 `tldextract` 缓存错误的问题

在使用 Scrapy 下载图片时，你可能会遇到以下错误提示：

复制代码

WARNING: unable to cache publicsuffix.org-tlds.{'urls': ('https://publicsuffix.org/list/public_suffix_list.dat', 'https://raw.githubusercontent.com/publicsuffix/list/master/public_suffix_list.dat'), 'fallback_to_snapshot': True} in /root/.cache/python-tldextract/3.6.8.final__usr__7d8fdf__tldextract-3.1.2/publicsuffix.org-tlds/de84b5ca2167d4c83e38fb162f2e8738.tldextract.json. This could refresh the Public Suffix List over HTTP every app startup. Construct your `TLDExtract` with a writable `cache_dir` or set `cache_dir=False` to silence this warning. [Errno 13] Permission denied: '/root/.cache/python-tldextract'

这个错误提示说明在使用 tldextract 库解析顶级域名（TLD）时，无法将公共后缀列表缓存到默认位置（通常是 ~/.cache 目录）因为权限不足。下面是几种解决方案，可以帮助你解决这个问题。

1. 更改缓存目录

将缓存目录更改为你有写权限的目录。可以在创建 TLDExtract 对象时指定一个可写的缓存目录，例如：

python 复制代码

import tldextract

extract = tldextract.TLDExtract(cache_dir='/path/to/your/cache_dir')

其中 /path/to/your/cache_dir 是你有写权限的目录路径。

2. 禁用缓存

如果不需要缓存，可以通过将 cache_dir 设置为 False 来禁用缓存。例如：

python 复制代码

import tldextract

extract = tldextract.TLDExtract(cache_dir=False)

这将每次运行程序时都刷新公共后缀列表。

3. 使用环境变量

你也可以通过设置环境变量 TLDEXTRACT_CACHE 来指定缓存目录。例如：

python 复制代码

import os
import tldextract

os.environ['TLDEXTRACT_CACHE'] = '/path/to/your/cache_dir'
extract = tldextract.TLDExtract()

4. 更改文件权限(我使用的这个方法)

如果有权限，可以通过修改默认缓存目录的权限来允许写入。例如：

bash 复制代码

sudo chmod -R 777 /root/.cache/python-tldextract

请注意，修改 /root 目录的权限可能不是最好的实践，因为它涉及到系统安全问题。

结论

在使用 Scrapy 下载图片时，如果遇到 tldextract 的缓存权限问题，可以通过上述几种方法解决。推荐的方法是更改缓存目录或禁用缓存，这样可以避免修改系统权限带来的安全风险。选择适合你的解决方案来解决这个问题。