爬虫工作量由小到大的思维转变---<第三十章 Scrapy Redis 第一步(配置同步redis)>

前言:

要迈向scrapy-redis进行编写了;首要的一步是,如何让他们互通?也就是让多台电脑连一个任务(这后面会讲); 现在来做一个准备工作,配置好redis的同步!!

针对的是windows版本的redis同步,实现`主服务`和`从服务`共享一个redis库;

正文:

正常的redis for windows 的安装这里就不说了; 讲一下如何配置两台或者多台电脑的共享redis吧!

需要硬件:

>=两台电脑(或者你自己配的虚拟环境也行)

修改配置:

1.查看你主电脑的ip网关:

cmd-->ipconfig

2.到你的redis根服务器里面,找到.conf文件:
3.打开之后,修改3个值:

bind:将其设置为台式机的 IP 地址,以允许笔记本电脑连接到台式机上的 Redis 服务器。

protected-mode:将其设置为 no,以允许来自其他 IP 地址的连接。

port:设置 Redis 监听的端口号,默认为 6379。

4.启动主服务器的redis服务端:

在redis根目录下,cmd-->

复制代码
#例如redis-server.exe D:\redis\redis.windows.conf
redis-server.exe <你刚刚改的conf路径>
5.启动好之后,去你的从服务器上:

(相当于,这时候已经有一个共享的服务端了,我们不管开多少个客户端,随意~ 只要连接这个地址和端口就行)

cmd-->

复制代码
例如:redis-cli.exe -h 192.168.2.11 -p 6379

redis-cli.exe -h <你那个ip地址> -p <端口号>
6.成功!

输入:keys *

--->看一下同步没有~~

归纳语:

要想实现scrapy-redis,首先把这个配置好! 不然其他一切白搭,学了也白学,不能够实战呀!!!

所以,先把这个先决条件整明白了,咱再整其他的好么.

相关推荐
白露与泡影5 小时前
Redis 的“单线程”与“多线程”:一场关于性能与简洁的权衡
数据库·redis·php
白起那么早5 小时前
idea 插件-把数据库的表画出来
数据库·后端·intellij idea
fengkai45456 小时前
十一、MySQL 第 1‑3 章
运维·数据库·mysql
Lancker6 小时前
记一次 Druid 连接 MySQL 报 Communications link failure 的排查过程
数据库·mysql·adb
adinnet20266 小时前
多轮对话与上下文压缩:追问时模型怎么记住前面说的
数据库·microsoft
JosieBook7 小时前
【数据库】MySQL 实战精通系列 · 第11篇:Redis 缓存与 MySQL 一致性实战
数据库·mysql·缓存
TomEval7 小时前
【测AI】第05篇:Python 爬虫进阶 —— 动态页面爬取与 Scrapy 框架
人工智能·爬虫·python·scrapy·自动化
Leo.yuan7 小时前
2026企业级数据集成平台市场报告:国内外厂商格局与技术路线
数据库·oracle
guo_wen_qiang8 小时前
云服务器mysql分库分表环境搭建(2库4表)
数据库·mysql·docker
jianpeng的工程笔记8 小时前
EL8 / EL9 安装 Slurm 26.05.4:主备控制器、MariaDB 记账与作业验收
linux·数据库·mariadb·高性能计算·slurm