memcached安装与应用

阅读量：6716 次

发布时间：2019-06-25

本文共 12112 字，大约阅读时间需要 40 分钟。

21.1Nosql介绍

什么是Nosql

非关系型数据库就是NoSQL，关系型数据库代表MySQL

对于关系型数据库来说，是需要把数据存储到库、表、行、字段里，查询的时候根据条件一行一行地去匹配，当量非常大的时候就很耗费时间和资源，尤其是数据是需要从磁盘里去检索

NoSQL数据库存储原理非常简单（典型的数据类型为k-v），不存在繁杂的关系链，比如mysql查询的时候，需要找到对应的库、表（通常是多个表）以及字段。

NoSQL数据可以存储在内存里，查询速度非常快

NoSQL在性能表现上虽然能优于关系型数据库，但是它并不能完全替代关系型数据库

NoSQL因为没有复杂的数据结构，扩展非常容易，支持分布式

常见Nosql数据库

k-v形式的：memcached、redis 适合储存用户信息，比如会话、配置文件、参数、购物车等等。这些信息一般都和ID（键）挂钩，这种情景下键值数据库是个很好的选择。

文档数据库：mongodb 将数据以文档的形式储存。每个文档都是一系列数据项的集合。每个数据项都有一个名称与对应的值，值既可以是简单的数据类型，如字符串、数字和日期等；也可以是复杂的类型，如有序列表和关联对象。数据存储的最小单位是文档，同一个表中存储的文档属性可以是不同的，数据可以使用XML、JSON或者JSONB等多种形式存储。

列存储 Hbase

图 Neo4J、Infinite Graph、OrientDB

21.2memcached介绍

系统环境：centos 7.x86_64

Memcached是国外社区网站LiveJournal团队开发，目的是为了通过缓存数据库查询结果，减少数据库访问次数，从而提高动态web站点性能。

官方站点

数据结构简单(k-v)，数据存放在内存里

多线程

基于c/s架构，协议简单

基于libevent的事件处理

自主内存存储处理（slab allowcation)

数据过期方式：Lazy Expiration 和LRU

slab allowcation原理

将分配的内存分割成各种尺寸的块（chunk），并把尺寸相同的块分成组（chunk的集合），每个chunk集合被称为slab。

Memcached的内存分配以Page为单位，Page默认值为1M，可以在启动时通过-I参数来指定。

Slab是由多个Page组成的，Page按照指定大小切割成多个chunk。

mark

growth factor

Memcached在启动时通过-f选项可以指定 Growth Factor因子。该值控制chunk大小的差异。默认值为1.25。

通过memcached-tool命令查看指定Memcached实例的不同slab状态，可以看到各Item所占大小（chunk大小）差距为1.25

命令：# memcached-tool 127.0.0.1:11211 display

memcached数据过期方式

Lazy Expiration

Memcached 内部不会监视记录是否过期，而是在get时查看记录的时间戳，检查记录是否过期。这种技术被称为lazy（惰性）expiration。因此，Memcached不会在过期监视上耗费CPU时间。

LRU

Memcached会优先使用已超时的记录的空间，但即使如此，也会发生追加新记录时空间不足的情况，此时就要使用名为Least Recently Used（LRU）机制来分配空间。顾名思义，这是删除“最近最少使用”的记录的机制。因此，当内存空间不足时（无法从slab class获取到新的空间时），就从最近未被使用的记录中搜索，并将其空间分配给新的记录。从缓存的实用角度来看，该模型十分理想。

21.3安装memcached

官方版本：

mark

本次实验使用系统自带版本：memcached.x86_64 1.4.15-10.el7_3.1

安装

[root@adailinux ~]# yum install -y memcached libmemcached libevent

#memcached依赖于libevent和libmemecached，如果系统没有安装这两个包，需要手动安装。

启动

[root@adailinux ~]# systemctl start memcached

[root@adailinux ~]# ps aux |grep memcached

memcach+ 2363 0.7 0.2 325556 1192 ? Ssl 16:15 0:00 /usr/bin/memcached -u memcached -p 11211 -m 64 -c 1024

root 2370 0.0 0.1 112664 972 pts/0 S+ 16:15 0:00 grep --color=auto memcached

说明：

-u：表示指定用户

-p：表示监听端口

-m：表示分配的内存

-c：表示最大并发数

[root@adailinux ~]# netstat -lntp |grep memcached

tcp 0 0 0.0.0.0:11211 0.0.0.0: LISTEN 2363/memcached
tcp6 0 0 :::11211 ::: LISTEN 2363/memcached

memcached启动参数配置：

[root@adailinux ~]# vim /etc/sysconfig/memcached

PORT="11211"

USER="memcached"

MAXCONN="1024"

CACHESIZE="64"

OPTIONS=""

说明： OPTIONS可以自定义选项，可以使用“memcached -h”查看其选项。

21.4 查看memcached的状态

方法1：

[root@adailinux ~]# memcached-tool 127.0.0.1:11211 stats

方法2：（前提是安装了libmemcached包）

[root@adailinux ~]# memstat --servers=127.0.0.1:11211

方法3：

[root@adailinux ~]# telnet 127.0.0.1 11211

#连接memcached

Trying 127.0.0.1...

Connected to 127.0.0.1.

Escape character is '^]'.

stats

#查看memcached的状态

STAT pid 1277 （进程ID）

STAT uptime 176145 （服务器运行秒数,秒）

STAT time 1448592684 （服务器当前unix时间戳）

STAT version 1.4.15 （服务器版本）

STAT libevent 2.0.21-stable

STAT pointer_size 64 （操作系统字大小 32/64位）

STAT rusage_user 3.869494 （进程累计用户时间，秒）

STAT rusage_system 4.636292 （进程累计系统时间，秒）

STAT curr_connections 11 （当前打开连接数）

STAT total_connections 21 （曾打开的连接总数）

STAT connection_structures 12 （服务器分配的连接结构数）

STAT reserved_fds 20

STAT cmd_get 483 （执行get命令总数）

STAT cmd_set 144 （执行set命令总数）

STAT cmd_flush 0 （指向flush_all命令总数）

STAT cmd_touch 0

STAT get_hits 369 （get命中次数）

STAT get_misses 114 （get未命中次数）

STAT delete_misses 0 （delete未命中次数）

STAT delete_hits 0 （delete命中次数）

STAT incr_misses 0 （incr未命中次数）

STAT incr_hits 0 （incr命中次数）

STAT decr_misses 0 （decr未命中次数）

STAT decr_hits 0 （decr命中次数）

STAT cas_misses 0 （cas未命中次数）

STAT cas_hits 0 （cas命中次数）

STAT cas_badval 0 （使用擦拭次数）

STAT touch_hits 0

STAT touch_misses 0

STAT auth_cmds 0

STAT auth_errors 0

STAT bytes_read 82819 （读取字节总数）

STAT bytes_written 104266 （写入字节总数）

STAT limit_maxbytes 67108864 （分配的内存数（字节））

STAT accepting_conns 1 （目前接受的连接数）

STAT listen_disabled_num 0

STAT threads 4 （线程数）

STAT conn_yields 0

STAT hash_power_level 16

STAT hash_bytes 524288

STAT hash_is_expanding 0

STAT bytes 4789 （存储item字节数）

STAT curr_items 20 （item个数）

STAT total_items 144 （item总数）

STAT expired_unfetched 15

STAT evicted_unfetched 0

STAT evictions 0 （获取空间删除item的总数）

STAT reclaimed 36

END

quit

#退出

Connection closed by foreign host.

说明：需要经常关注：get_hits（get命中次数）和curr _items（当前项目数）的比值，该比值代表其命中率。

使用nc命令查看memcached状态

[root@adailinux ~]# yum install -y nc

[root@adailinux ~]# echo stats |nc 127.0.0.1 11211

21.5 memcached命令行

[root@adailinux ~]# telnet 127.0.0.1 11211

#连接到memcached

Trying 127.0.0.1...

Connected to 127.0.0.1.

Escape character is '^]'.

###按Ctrl+]或者输入quit可以退出

set adai 0 30 2

#添加数据

STORED

说明：

adai：键值名称；

0：标记，记录额外信息

30：数据保留时长

2：数据长度（字符数）

get adai

#查看数据

VALUE adai 0 2

END

注：进入memcached后可以使用Ctrl+backspace键逐个删除当前行数据，Ctrl+u一次性清除当前行数据。

memcached语法规则

command name set/add/replace

key 查找关键字

flags 客户机使用它存储关于键值对的额外信息（标记）

exptime 该数据的存活时间，0表示永远

bytes 存储字节数

data block 存储的数据块（可直接理解为key-value结构中的value）

格式： < command name > < key > < flags > < expiretime > < bytes >\r\n < data block >\r\n

<command name> 可以是"set", "add", "replace"

"set"表示按照相应的<key>存储该数据，没有的时候增加，有的覆盖

"add"表示按照相应的<key>添加该数据,但是如果该<key>已经存在则会操作失败

"replace"表示按照相应的<key>替换数据,但是如果该<key>不存在则操作失败

<key> 客户端需要保存数据的key

<flags> 是一个16位的无符号的整数(以十进制的方式表示)

该标志将和需要存储的数据一起存储,并在客户端get数据时返回

客户可以将此标志用做特殊用途，此标志对服务器来说是不透明的

<exptime> 过期的时间

若为0表示存储的数据永远不过时(但可被服务器算法：LRU 等替换)

如果非0(unix时间或者距离此时的秒数),当过期后,服务器可以保证用户得不到该数据(以服务器时间为标准)

<bytes> 需要存储的字节数(不包含最后的"\r\n"),当用户希望存储空数据时,<bytes>可以为0

最后客户端需要加上"\r\n"作为"命令头"的结束标志（=Enter）。

<data block>：要存储的内容（在上述参数设置完毕后，enter后再输入数据）

示例：

set key1 0 0 2

STORED

添加一个数据

get key1

VALUE key1 0 2

END

#查看数据

delete key1 0

DELETED

#删除一个数据

get key1

END

quit

Connection closed by foreign host.

[root@localhost ~]# telnet 127.0.0.1 11211

Trying 127.0.0.1...

Connected to 127.0.0.1.

Escape character is '^]'.

set adai 0 0 3

123

STORED

get adai

VALUE adai 0 3

123

END

replace adai 2 200 5

12345

STORED

#更改数据

get adai

VALUE adai 2 5

12345

END

quit

Connection closed by foreign host.

查看数据状态：

[root@localhost ~]# memcached-tool 127.0.0.1:11211 display

Item_Size Max_age Pages Count Full? Evicted Evict_Time OOM

1 96B 22s 1 1 yes 0 0 0

#Item_Size项目大小（类似于块的概念），该列以递增的形式显示

注：某数据超出其expire time之后该数据就会消失，如果expire time=0，表示永不失效，可使用LRU等算法替换该数据。

21.6 memcached数据导出和导入

因为memcached数据不能持久化（重启memcached服务数据会丢失），所以在重启服务之前最好将其中的数据导出，待重启完毕后再将数据导入memcached，防止数据丢失。

数据导出

准备数据：

[root@adailinux ~]# telnet 127.0.0.1 11211

Trying 127.0.0.1...

Connected to 127.0.0.1.

Escape character is '^]'.

set name 1 0 4

adai

STORED

set age 1 0 2

STORED

set weight 1 0 2

set high 1 0 3

180

STORED

telnet> quit

Connection closed.

查看数据状态：

[root@adailinux ~]# memstat --servers=127.0.0.1:11211

curr_items: 4

即，当前有4个项目。

导出数据：

[root@adailinux ~]# memcached-tool 127.0.0.1:11211 dump > /tmp/memdata.bak

Dumping memcache contents

Number of buckets: 1

Number of items : 4

Dumping bucket 1 - 4 total items

[root@adailinux ~]# cat /tmp/memdata.bak

add high 1 1506759339 3

180

add name 1 1506759339 4

adai

add weight 1 1506759339 2

add age 1 1506759339 2

导入数据

[root@adailinux ~]# nc 127.0.0.1 11211 < /tmp/memdata.bak

NOT_STORED

#数据已经存在，所以无法导入。

[root@adailinux ~]# systemctl restart memcached

[root@adailinux ~]# date -d "+1 hour" +%s

1506768265

#获取1小时后的时间戳，

#将memdata.bak中的时间戳更改为该值

[root@adailinux ~]# vim /tmp/memdata.bak

add high 1 1506768265 3

180

add name 1 1506768265 4

adai

add weight 1 1506768265 2

add age 1 10000000 2

[root@adailinux ~]# nc 127.0.0.1 11211 < /tmp/memdata.bak

STORED

[root@adailinux ~]# telnet 127.0.0.1 11211

Trying 127.0.0.1...

Connected to 127.0.0.1.

Escape character is '^]'.

get name

VALUE name 1 4

adai

END

get age

END

get high

VALUE high 1 3

180

END

get weight

VALUE weight 1 2

END

注：导出的数据是带有一个时间戳的，这个时间戳就是该条数据过期的时间点，如果数据已经存在或者当前时间已经过了这个时间点，数据将无法成功导入。

21.7 php连接memcached

使用PHP连接memcached需要先编译安装PHP的memcached扩展模块。（本机之前已经安装过PHP，所以直接重新编译，如果是首次安装，需要下载安装包。）

[root@adailinux src]# pwd

/usr/local/src

下载模块：

[root@adailinux src]# wget

[root@adailinux src]# tar -zxvf memcache-2.2.3.tgz

[root@adailinux src]# cd memcache-2.2.3/

[root@adailinux memcache-2.2.3]# /usr/local/php-fpm/bin/phpize

报错：

Cannot find autoconf. Please check your autoconf installation and the

$PHP_AUTOCONF environment variable. Then, rerun this script.

即，缺少autoconf。。此时无法生产configure文件

[root@adailinux memcache-2.2.3]# yum install -y autoconf

[root@adailinux memcache-2.2.3]# /usr/local/php-fpm/bin/phpize

搞定！！

编译：

[root@adailinux memcache-2.2.3]# ./configure --with-php-config=/usr/local/php-fpm/bin/php-config

[root@adailinux memcache-2.2.3]# echo $?

[root@adailinux memcache-2.2.3]# make && make install

Installing shared extensions: /usr/local/php-fpm/lib/php/extensions/no-debug-non-zts-20131226/

[root@adailinux memcache-2.2.3]# ls /usr/local/php-fpm/lib/php/extensions/no-debug-non-zts-20131226/

memcache.so

即，生成memcache.so模块文件。

加载模块：

[root@adailinux memcache-2.2.3]# vim /usr/local/php-fpm/etc/php.ini

添加如下参数：

extension=memcache.so

[root@adailinux memcache-2.2.3]# /usr/local/php-fpm/sbin/php-fpm -m

memcache

即，memcache模块加载成功！

测试

下载测试脚本，查看PHP是否支持memcache扩展。

测试脚本内容如下：

[root@adailinux src]# vim 1.php

<?php

//连接Memcache Memcache

$mem = new Memcache;

$mem->connect("localhost", 11211);

//保存数据

$mem->set('key1', 'This is first value', 0, 60);

$val = $mem->get('key1');

echo "Get key1 value: " . $val ." ";

//替换数据

$mem->replace('key1', 'This is replace value', 0, 60);

$val = $mem->get('key1');

echo "Get key1 value: " . $val . " ";

//保存数组数据

$arr = array('aaa', 'bbb', 'ccc', 'ddd');

$mem->set('key2', $arr, 0, 60);

$val2 = $mem->get('key2');

echo "Get key2 value: ";

print_r($val2);

echo " ";

//删除数据

$mem->delete('key1');

$val = $mem->get('key1');

echo "Get key1 value: " . $val . " ";

//清除所有数据

$mem->flush();

$val2 = $mem->get('key2');

echo "Get key2 value: ";

print_r($val2);

echo " ";

//关闭连接

$mem->close();

测试：

[root@adailinux src]# /usr/local/php-fpm/bin/php 1.php

Get key1 value: This is first value Get key1 value: This is replace value Get key2 value: Array

(

[0] => aaa

[1] => bbb

[2] => ccc

[3] => ddd

)

Get key1 value: Get key2 value:

该情况说明配置成功！

21.8 memcached中存储session

更改session存贮位置（memcached）。

session测试

以下为更改存储位置前，session文件的错处位置：

测试脚本内容如下：

[root@adailinux ~]# cat .mem_se.txt

<?php

session_start();

if (!isset($_SESSION['TEST'])) {

$_SESSION['TEST'] = time();

}

$_SESSION['TEST3'] = time();

print $_SESSION['TEST'];

print " ";

print $_SESSION['TEST3'];

print " ";

print session_id();

将该脚本放到当前机器默认站点的根目录/data/wwwroot/www：

[root@adailinux ~]# cd /data/wwwroot/www

[root@adailinux www]# mv /root/.mem_se.txt 1.php

#进行移动并重命名

执行如下命令：

[root@adailinux www]# curl localhost/1.php

1506768299 1506768299 pcqf6d4r4sjeede4nkpvjni9n6

##此时存储了一个session

[root@adailinux www]# ls /tmp/

sess_pcqf6d4r4sjeede4nkpvjni9n6

##该文件为执行上面命令生成的session文件

更改session存储路径

方法1：

[root@adailinux ~]# vim /usr/local/php-fpm/etc/php.ini

;session.save_handler = files

默认情况值为files，存放在/tmp/下

session.save_handler = memcache

##指定存储类型

session.save_path = "tcp://192.168.8.131:11211"

##指定memcached服务器的IP和端口

重启php服务：

[root@adailinux www]# /etc/init.d/php-fpm restart

Gracefully shutting down php-fpm . done

Starting php-fpm done

删除/tmp/下原因的session文件：

[root@adailinux www]# rm -rf /tmp/sess*

在此创建session:

[root@adailinux www]# curl localhost/1.php

1506769084 1506769084 qe73bqse8rmckfchgb7j5b8ba6

###注：此处最后面的值为key

查看session信息：

[root@adailinux www]# telnet 127.0.0.1 11211

Trying 127.0.0.1...

Connected to 127.0.0.1.

Escape character is '^]'.

get qe73bqse8rmckfchgb7j5b8ba6

VALUE qe73bqse8rmckfchgb7j5b8ba6 0 37

TEST|i:1506769084;TEST3|i:1506769084;

END

如果无法看到session数据的键值，

就无法直接在memcached中查看，

解决办法是将memcached数据导出：

[root@adailinux www]# memcached-tool 127.0.0.1:11211 dump > /tmp/memdata.bak

[root@adailinux www]# cat /tmp/memdata.bak

add qe73bqse8rmckfchgb7j5b8ba6 0 1506770524 37

TEST|i:1506769084;TEST3|i:1506769084;

成功！

方法2：

在httpd.conf中定义session的保存路径：

php_value session.save_handler "memcache"

php_value session.save_path "tcp://192.168.8.130:11211"

方法3：

在php-fpm.conf对应的pool中定义session的保存路径：

php_value[session.save_handler] = memcache

php_value[session.save_path] = " tcp://192.168.8.130:11211 "

转载于:https://blog.51cto.com/13242922/2111975

你可能感兴趣的文章

发一个windows8 下QQ应用的测试报告-精彩截图

查看>>

利用Zabbix ODBC monitoring监控MySQL

MySQL主从架构由5.5版本升级到5.6方案

查看>>

大数据时代的遨游

查看>>

从Windows 8.1光盘安装.NET Framework 3.5.1

查看>>

Create Oracle VM High Availability (HA)

查看>>

Memcache持久性分布式数据MemcacheDB

查看>>

联想计算机Lenovo ThinkCentre M910t-NO76的重装

查看>>

大话nbu四（nbu备份恢复catalog）