高性能内存对象缓存Memcached原理与部署

靑木3122024-08-20 8:23

目录

搭建案例

案例一：单memcached节点缓存系统

(1)设置各节点的主机名

[(2)安装 Memcached 服务器：](#(2)安装 Memcached 服务器：)

[安装 Libevent](#安装 Libevent)

[安装 Memcached](#安装 Memcached)

[设置 Memcached 服务脚本](#设置 Memcached 服务脚本)

[(3)Memcached API 客户端](#(3)Memcached API 客户端)

下载之前需要LAMP集群

[编译安装 Libmemcached](#编译安装 Libmemcached)

[编译安装 Memcached 扩展](#编译安装 Memcached 扩展)

[配置 PHP 添加 Memcached 组件](#配置 PHP 添加 Memcached 组件)

[测试 Memcached-API 功能](#测试 Memcached-API 功能)

[Memcached 数据库操作与管理](#Memcached 数据库操作与管理)

[案例二：Memcached 实现主主复制和高可用的方式](#案例二：Memcached 实现主主复制和高可用的方式)

[Memcached 主主复制架构](#Memcached 主主复制架构)

[(1)安装带有复制功能的 Memcached](#(1)安装带有复制功能的 Memcached)

[(2)安装带有复制功能的 Memcached](#(2)安装带有复制功能的 Memcached)

[(3)使用 telnet 进行简单验证复制功能](#(3)使用 telnet 进行简单验证复制功能)

[Memcached 主主复制+Keepalived 高可用架构](#Memcached 主主复制+Keepalived 高可用架构)

[(1)安装配置 keepalived（两台主机都安装）](#(1)安装配置 keepalived（两台主机都安装）)

  • Memcached 是一套开源的高性能分布式内存对象缓存系统，它将所有的数据都存储在内存中，因为内存中会统一维护一张巨大的 Hash 表，所以支持任意存储类型的数据
  • Memcached 是典型的 C/S 架构，因此需要构建 Memcached 服务器端与 MemcachedAPI客户端。Memcached 服务器端是用 C 语言编写的，而 Memcached API 客户端可用任何语言来编写（如 PHP、Python、Perl 等），并通过 Memcached 协议与 Memcached 服务器端进行通信

1：数据存储方式与数据过期方式

  1. 数据存储方式：Slab Allocation
    1. Slab Allocation 即按组分配内存，每次先分配一个 Slab，相当于一个大小为 1M的页。然后，在 1M 的空间里根据数据划分大小相同的 Chunk，该方法可以有效解决内存碎片问题，但也可能会使内存空间产生浪费
  2. 数据过期方式：LRU、Laxzy Expiration
    1. LUR 是指追加的数据空间不足时，会根据 LRU 的情况淘汰最近最少使用的记录
    2. Laxzy Expiration 即惰性过期，是指使用 get 时查看记录时间，从而检查记录是否已经过期

2：Memcached 缓存机制

  • 缓存是常驻在内存的数据，能够快速进行读取，而 Memcached 就是这样一款非常出色的缓存软件。当程序写入缓存数据请求时，Memcached 的 API 接口将 Key 输入路由算法模块并路由到集群中的一台服务器，之后由 API 接口与服务器进行通信，完成一次分布式缓存写入

3：Memcached 分布式

  • Memcached分布式部署主要依赖于Memcached的客户来端实现，多个Memcached 服务器是独立的。分布式数据如何存储是由路由算法所决定。当数据到达客户端程序库，客户端的算法就依据路由算法来决定保的Memcached 服务器

4：Memcached 路由算法

  • 求余数 hash 算法
    • 先用key做hash运算得到一个整数，再做hash算法，根据余数进行路由
    • 适合大多数据需求，但是不适合在动态变化的环境中
  • 一致性 hash 算法
    • 按照hashi算法把对应的key通过一定的hash算法处理后映射形成一个首尾相接闭合循环，然后通过使用与对象存储一样的hash算法将机器也映射到环中，顺时针方向计算将所有对象存储到自己最近的机器中
    • 适合在动态变化的环境中使用

搭建案例

|-----|-----------|------------------------------|------------------------------------------------------------------------------------------|
| 主机 | 操作系统 | 主机名/IP地址 | 主要软件及版本 |
| 服务器 | Centos7.9 | Memcache1/192.168.10.101 | libevent-2.1.8-stable.tar.gz memcached-1.5.1.tar.gz memcached-1.2.8-repcached-2.2.tar.gz |
| 服务器 | Centos7.9 | Memcache2/192.168.10.102 | libevent-2.1.8-stable.tar.gz memcached-1.2.8-repcached-2.2.tar.gz |
| 客户端 | Centos7.9 | Memcached-API/192.168.10.103 | httpd-2.4.25.tar.gz php-5.5.38.tar.gz libmemcached-1.0.18.tar.gz memcached-2.2.0.tgz |

案例一：单memcached节点缓存系统

(1)设置各节点的主机名

主机：192.168.10.101
[root@localhost ~]# hostnamectl set-hostname Memcache1
[root@localhost ~]# bash

主机：192.168.10.102
[root@localhost ~]# hostnamectl set-hostname Memcache2
[root@localhost ~]# bash

主机：192.168.10.103
[root@localhost ~]# hostnamectl set-hostname Memcached-API
[root@localhost ~]# bash

(2)安装 Memcached 服务器：

安装 Libevent
[root@memcache1 ~]# systemctl stop firewalld
[root@memcache1 ~]# yum -y install gcc*
[root@memcache1 ~]# tar zxvf libevent-2.1.8-stable.tar.gz 
[root@memcache1 ~]# cd libevent-2.1.8-stable
[root@memcache1 libevent-2.1.8-stable]# ./configure --prefix=/usr/local/libevent
[root@memcache1 libevent-2.1.8-stable]# make && make install
  • Libevent 是一个用C语言编写的、轻量级的开源高性能事件通知库
    • 事件驱动（ event-driven），高性能
    • 轻量级，专注于网络，不如 ACE 那么臃肿庞大
    • 源代码相当精炼、易读
    • 跨平台，支持 Windows、 Linux、 *BSD 和 Mac Os
    • 支持多种 I/O 多路复用技术， epoll、 poll、 dev/poll、 select 和 kqueue 等
    • 支持 I/O，定时器和信号等事件
    • 注册事件优先级
安装 Memcached
[root@memcache1 ~]# tar zxvf memcached-1.5.1.tar.gz 
[root@memcache1 ~]# cd memcached-1.5.1
[root@memcache1 memcached-1.5.1]# ./configure \
--prefix=/usr/local/memcached \
--with-libevent=/usr/local/libevent

[root@memcache1 memcached-1.5.1]# make && make install
设置 Memcached 服务脚本
[root@memcache1 ~]# vim /usr/local/memcached/memcached_service.sh
#!/bin/bash 
CMD="/usr/local/memcached/bin/memcached" 
start(){ 
  $CMD -d -m 128 -u root
}
stop(){ 
  killall memcached;
}

ACTION=$1
  case $ACTION in
  'start')
     start;;
  'stop')
     stop;;
'restart')
     stop
     sleep 2
     start;;
*) 
     echo 'Usage:{start|stop|restart}' 
esac 

[root@memcache1 ~]# yum -y install psmisc        //psmisc提供了killall命令

[root@memcache1 ~]# chmod 755 /usr/local/memcached/memcached_service.sh
[root@memcache1 ~]# /usr/local/memcached/memcached_service.sh start
[root@memcache1 ~]# netstat -anpt | grep memcached
tcp        0      0 0.0.0.0:11211           0.0.0.0:*               LISTEN      20564/memcached     
tcp6       0      0 :::11211                :::*                   LISTEN      20564/memcached

(3)Memcached API 客户端

下载之前需要LAMP集群
//事先设置好仓库源
yum -y install httpd mariadb mariadb-server php php-devel php-mysql（apache和php的环境）

systemctl start mariadb
mysqladmin -u root password 'pwd123'
systemctl start httpd

cat <<EOF>/var/www/html/test1.php
<?php
phpinfo();
?>
EOF
编译安装 Libmemcached
[root@memcached-api ~]# systemctl stop firewalld
[root@memcached-api ~]# setenforce 0

[root@memcached-api ~]# yum -y install gcc*
[root@memcached-api ~]# tar zxvf libmemcached-1.0.18.tar.gz 
[root@memcached-api ~]# cd libmemcached-1.0.18

[root@memcached-api libmemcached-1.0.18]# ./configure --prefix=/usr/local/libmemcached --with-memcached=/usr/local/memcached

[root@memcached-api libmemcached-1.0.18]# make && make install

//libmemcached 是一个 memcached 的库，客户端库，C 和 C++ 语言实现的客户端库，具有低内存占用率、线程安全、并提供对memcached功能的全面支持
编译安装 Memcached 扩展
[root@memcached-api ~]# systemctl stop firewalld
[root@memcached-api ~]# setenforce 0

[root@memcached-api ~]# yum -y install gcc*
[root@memcached-api ~]# tar zxvf libmemcached-1.0.18.tar.gz 
[root@memcached-api ~]# cd libmemcached-1.0.18

[root@memcached-api libmemcached-1.0.18]# ./configure --prefix=/usr/local/libmemcached --with-memcached=/usr/local/memcached

[root@memcached-api libmemcached-1.0.18]# make && make install

//libmemcached 是一个 memcached 的库，客户端库，C 和 C++ 语言实现的客户端库，具有低内存占用率、线程安全、并提供对memcached功能的全面支持

（2）如果lamp是用yum安装的，使用如下方法
如果是用yum安装的lamp环境，使用如下方法安装 Memcached 扩展
[root@memcached-api ~]# yum -y install zlib zlib-devel
[root@memcached-api ~]# tar -xzvf memcached-2.2.0.tgz 
[root@memcached-api ~]# cd memcached-2.2.0/
[root@memcached-api memcached-2.2.0]# /usr/bin/phpize
[root@memcached-api memcached-2.2.0]# ./configure --with-php-config=/usr/bin/php-config 
--with-libmemcached-dir=/usr/local/libmemcached --disable-memcached-sasl --with-zlib-dir    

[root@memcached-api memcached-2.2.0]# make && make install

SASL全称Simple Authentication and Security Layer，是一种用来扩充C/S模式验证能力的机制

配置 PHP 添加 Memcached 组件
//添加Memcached
[root@memcached-api ~]# cd /usr/local/php5/ 
[root@memcached-api php5]# vim php.ini 
extension_dir = "/usr/local/php5/lib/php/extensions/no-debug-zts-20121212/" 
extension=memcached.so 

//如果使用的yum安装的php，
[root@memcache2 ~]# vim /etc/php.ini    
去掉extension_dir=" "
只添加extension=memcached.so

[root@memcached-api php5]# systemctl restart httpd

通过 PHPinfo 查看是否已经添加 Memcached 扩展模块;使用浏览器进行访问
测试 Memcached-API 功能
[root@memcached-api ~]# vim /usr/local/httpd/htdocs/test2.php

<?php 
$memcache = new Memcached(); 
$memcache->addServer('192.168.10.101', 11211); 
$memcache->set('key', 'Memcache test successful!', 0, 60); 
$result = $memcache->get('key'); 
unset($memcache); 
echo $result; 
?> 

//如果是用yum安装的lamp，此文件所在的目录在/var/www/html
Memcached 数据库操作与管理
[root@memcache1 ~]# yum -y install telnet
[root@memcache1 ~]# telnet 127.0.0.1 11211

1：添加一条键值数据
add username 0 0 8 
zhangsan 
STORED

备注：
表示键值名为 username，
标记位表示自定义信息为 0，
过期时间为 0（永不过期，单位为秒）
字节数为 8；
 zhangsan 为值，这里需要注意输入长度为8 字节，与设定值符合
 
 2：查询键值数据
get username 
VALUE username 0 8 
zhangsan 
END 
gets username 
VALUE username 0 8 2 
zhangsan 
END 

备注：
get 后跟键名。如果检查最近是否更新，可以使用 gets，最后一位显示的是更新因子，每更新一次更新因子数会加一

3：更新一条键值数据
set username 0 0 4 
lisi 
STORED 
get username 
VALUE username 0 4 
everything 
END 

gets username
VALUE username 0 4 4
lisi
END

4：清除一条缓存数据
delete username 
DELETED 
get username 
END

5：检查后更新 check and set
add username 0 0 8
zhangsan
STORED


gets username 
VALUE username 0 8 7 
zhangsan 
END 

cas username 0 0 8 1         ##注意，因为更新因子和gets得到的不一致，这个语句的更新会失败
lodging 
EXISTS 

cas username 0 0 8 7 
zhangsai 
STORED 
gets username 
VALUE username 0 7 8 
lodging 
END 

备注：
cas命令的最后一个数字是更新因子，如果gets获取到的更新因子和cas命令提供的更新因子一致，则更新改数据，否则不会更新，会提示exists

cas命令的第三个数字是要更新的数据的字节数，和接下来输入进去的字符串的字节数要一致，否则会报错

6：追加数据
append username 0 0 8 //后追加 8 字节 
zhangsan 
STORED 
get username 
VALUE username 0 14 
lodgingzhangsan 
END 

7：清除所有缓存数据
flush_all 
OK

8：查看服务器统计信息
stats 
stats items      //返回所有键值对统计信息
stats cachedump 1 0    //返回指定存储空间的键值对 
stats slabs     //显示各个 slab 的信息，包括 chunk 的大小、数目、使用情况等 
stats sizes     //输出所有 item 的大小和个数 
stats reset     //清空统计数据

9：退出
quit

案例二：Memcached 实现主主复制和高可用的方式

Memcached 主主复制架构

(1)安装带有复制功能的 Memcached
（此步骤在两台memcache服务器上都执行）
（1）：安装 Libevent
[root@memcache1 ~]# systemctl stop firewalld
[root@memcache1 ~]# setenforce 0

[root@memcache1 ~]# yum -y install gcc* psmisc
[root@memcache1 ~]# tar zxvf libevent-2.1.8-stable.tar.gz 
[root@memcache1 ~]# cd libevent-2.1.8-stable
[root@memcache1 libevent-2.1.8-stable]# ./configure --prefix=/usr/local/libevent
[root@memcache1 libevent-2.1.8-stable]# make && make install

（2）安装memcached-1.2.8-repcached
[root@memcache1 ~]# tar zxvf memcached-1.2.8-repcached-2.2.tar.gz 
[root@memcache1 ~]# cd memcached-1.2.8-repcached-2.2
[root@Memcached1 memcached-1.2.8-repcached-2.2]# ./configure \
--prefix=/usr/local/memcached_replication \
--enable-replication \
--with-libevent=/usr/local/libevent

[root@memcache1 memcached-1.2.8-repcached-2.2]# vim memcached.c
#找到如下几行（在55行--60行）：
/* FreeBSD 4.x doesn't have IOV_MAX exposed. */
#ifndef IOV_MAX
#if defined(__FreeBSD__) || defined(__APPLE__)    //删除
# define IOV_MAX 1024
#endif        //删除
#endif
[root@memcache1 memcached-1.2.8-repcached-2.2]# make && make install
(2)安装带有复制功能的 Memcached
//在memcache1上启动
[root@memcache1 ~]# ln -s /usr/local/libevent/lib/libevent-2.1.so.6 /usr/lib64/
[root@Memcached1 ~]# /usr/local/memcached_replication/bin/memcached -d -u root -m 128 -x 192.168.10.102
注意：
启动时要指向对端
-d：守护进程方式启动
-u：指定用户
-x：指定对端服务器的地址
-m：最大的内存使用单位是MB 默认是64MB

//在memcache2上启动
[root@memcache1 ~]# ln -s /usr/local/libevent/lib/libevent-2.1.so.6 /usr/lib64/
[root@Memcached1 ~]# /usr/local/memcached_replication/bin/memcached -d -u root -m 128 -x 192.168.10.101
  • -x 对方IP

  • -p 监听的TCP端口(默认: 11211)

  • -U UDP监听端口 (默认: 11211, 0 时关闭)

  • -d 以守护进程方式运行

  • -u 运行运行 Memcached的账户 非root用户

  • -m 最大的内存使用单位是MB 默认是64MB

  • -c 软连接数量默认是1024

  • -v 输出警告和错误信息

  • -vv 打印客户端的请求和返回信息

  • -h 打印帮助信息

  • -i 打印memcached和libevent的版权信息

  • -l 绑定地址 (默认:所有都允许,无论内外网或者本机更换IP，有安全隐患，若设置为127.0.0.1就只能本机访问)

  • -P 将PID写入文件，这样可以使得后边进行快速进程终止, 需要与 -d 一起使用

    //在两台服务器上检查进程
    [root@memcache1 ~]# netstat -antp |grep memcached
    tcp 0 0 0.0.0.0:11211 0.0.0.0:* LISTEN 52646memcached
    tcp 0 0 192.168.10.101:11212 192.168.10.102:38298 ESTABLISHED 52646memcached
    tcp6 0 0 :::11211 :::* LISTEN 52646memcached

    [root@memcache2 ~]# netstat -antp |grep memcached
    tcp 0 0 0.0.0.0:11211 0.0.0.0:* LISTEN 29976memcached
    tcp 0 0 192.168.10.102:38298 192.168.10.101:11212 ESTABLISHED 29976memcached
    tcp6 0 0 :::11211 :::* LISTEN 29976memcached

(3)使用 telnet 进行简单验证复制功能
//在memcache1上启动
[root@memcache1 ~]# ln -s /usr/local/libevent/lib/libevent-2.1.so.6 /usr/lib64/
[root@Memcached1 ~]# /usr/local/memcached_

Memcached 主主复制+Keepalived 高可用架构

(1)安装配置 keepalived（两台主机都安装）
（1）配置主 keepalived
[root@memcache1 ~]# vim /etc/keepalived/keepalived.conf 
router_id LVS_01    //修改，从修改LVS_02

vrrp_script check_down {     ##定义要执行的脚本
script "/etc/keepalived/memcached.sh"        ##脚本路径和名称
interval 1        ##间隔1秒执行一次
}

vrrp_instance VI_1 {
    state BACKUP      ##master角色不能设置nopreempt，所以此处要设置为BACKUP
    interface ens33
    virtual_router_id 51
    priority 100    ##从主机的优先级要小于此数字，从修改90
    advert_int 1
    nopreempt        ##添加，此语句关闭了抢占功能，从主机不需要
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.10.100
}

track_script {        ##调用前面的脚本
 check_down
}
相关推荐
远歌已逝3 小时前
维护在线重做日志(二)
数据库·oracle
只因在人海中多看了你一眼3 小时前
分布式缓存 + 数据存储 + 消息队列知识体系
分布式·缓存
qq_433099404 小时前
Ubuntu20.04从零安装IsaacSim/IsaacLab
数据库
Dlwyz4 小时前
redis-击穿、穿透、雪崩
数据库·redis·缓存
工业甲酰苯胺6 小时前
Redis性能优化的18招
数据库·redis·性能优化
没书读了7 小时前
ssm框架-spring-spring声明式事务
java·数据库·spring
i道i7 小时前
MySQL win安装 和 pymysql使用示例
数据库·mysql
小怪兽ysl7 小时前
【PostgreSQL使用pg_filedump工具解析数据文件以恢复数据】
数据库·postgresql
wqq_9922502778 小时前
springboot基于微信小程序的食堂预约点餐系统
数据库·微信小程序·小程序
爱上口袋的天空8 小时前
09 - Clickhouse的SQL操作
数据库·sql·clickhouse
热门推荐
01(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明02PyTorch机器学习实现液态神经网络03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04玄机平台应急响应—webshell查杀05Coze扣子平台完整体验和实践（附国内和国际版对比）06Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO07【目标跟踪】相机运动补偿08Unity中PICO实现 隔空取物 和 接触抓取物体09RAG 实践- Ollama+RagFlow 部署本地知识库10怎样让音频速度变慢？请跟随以下方法进行操作