读书人

memcached有关知识

发布时间: 2012-07-20 10:38:30 作者: rapoo

memcached相关知识

一、Memcached一些特性和限制:

?在 Memcached中可以保存的item数据量是没有限制的,只有内存足够
?Memcached单进程最大使用内存在32位操作系统上为2G,要使用更多内存,可以分多个端口开启多个Memcached进程
?最大30天的数据过期时间,设置为永久的也会在这个时间过期,常量REALTIME_MAXDELTA60*60*24*30控制
?最大键长为250字节,大于该长度无法存储,常量KEY_MAX_LENGTH 250控制
?单个item最大数据是1MB,超过1MB数据不予存储,常量POWER_BLOCK 1048576进行控制,它是默认的slab大小
?最大连接数默认是1024,通过启动时使用 -c 参数来修改,settings.maxconns=1024 进行查看。

?跟空间占用相关的参数:settings.factor=1.25, settings.chunk_size=48, 影响slab的数据占用和步进方式
?memcached是一种无阻塞的socket通信方式服务,基于libevent库,由于无阻塞通信,对内存读写速度非常之快。
?memcached分服务器端和客户端,可以配置多个服务器端和客户端,应用于分布式的服务非常广泛。
?memcached作为小规模的数据分布式平台是十分有效果的。
?memcached是键值一一对应,key默认最大不能超过128个字 节,value默认大小是1M,也就是一个slabs,如果要存2M的值(连续的),不能用两个slabs,因为两个slabs不是连续的,无法在内存中 存储,故需要修改slabs的大小,多个key和value进行?存储时,即使这个slabs没有利用完,那么也不会存放别的数据。

?目前memcached支持C/C++、Perl、PHP、Python、Ruby、Java、C#、Postgres、Chicken Scheme、Lua、MySQL和Protocol等语言客户端。
?memcached本身的服务是用C语言编写的,启动非常简单:

?

参考:http://hi.baidu.com/34pc/blog/item/04cd3ccf111f182ff9dc61bf.html

?

?

二、Memcached主要的Java客户端有:

xmemcached

http://code.google.com/p/xmemcached/

http://interview.group.iteye.com/group/wiki/1825-xmemcached-java-memcached-client-api

?

memcached java client

http://www.whalin.com/memcached/#download

?

spymemcached

http://code.google.com/p/spymemcached/ ?

?

?

三、安装memcached 的win32版本?

?memcached for win32用于在win32平台测试,(请下载后面的memcached-1.2.1版本)。
http://www.iteye.com/topic/24505

最初版本:?http://jehiah.com/projects/memcached-win32/

管理命令
memcached.exe -d install?? 安装服务
memcached.exe -d start???? 启动服务
memcached.exe -d stop????? 停止服务
memcached.exe -d shutdown? 停止服务
memcached.exe -d uninstall 卸载服务

配置参数
memcached.ini文件指定的各参数及值可以根据需要做更改,默认的如下:
bind_addr=127.0.0.1?? #指绑定的IP
listener_port=11212?? #指监听的端口
memory=16???????????? #内存大小,单位是M
max_conns=1024??????? #最大连接数
evict_to_free = 0???? #关闭LRU算法,适用于存放session

?

?简单测试:

1、memcached 的win32版本:1.2.1

2、客户端:使用xmeecached 1.3.3

3、写一个jsp,一次初始化之后, 执行N次set()操作,jsp代码请看附件

MemcachedClient memcachedClient = ......;String key=UUID.randomUUID().toString();String value=UUID.randomUUID().toString();memcachedClient.set(key, 0,value);

4、使用ab.exe测试

ab.exe -n 5000 -c 500 http://127.0.0.1:8080/MVC/cache_test.jsp

?

Server Software:??????? Apache-Coyote/1.1
Server Hostname:??????? 127.0.0.1
Server Port:??????????? 8080

Document Path:????????? /MVC/cache_test.jsp
Document Length:??????? 318 bytes

Concurrency Level:????? 500
Time taken for tests:?? 4.101 seconds
Complete requests:????? 5000
Failed requests:??????? 0
Write errors:?????????? 0
Total transferred:????? 2625000 bytes
HTML transferred:?????? 1590000 bytes
Requests per second:??? 1219.21 [#/sec] (mean)
Time per request:?????? 410.100 [ms] (mean)
Time per request:?????? 0.820 [ms] (mean, across all concurrent requests)
Transfer rate:????????? 625.09 [Kbytes/sec] received

?

5、总结:

当时只有一台机器,memcached服务端(win32),与客户端(jsp运行在tomcat),与ab.exe,都在一台机器上,测试时CPU100% .

留下本次测试的结果,以后整好环境,在测试一下,用于对比。?

?

?

四、在Ubuntu上安装Memcached

1. 查自己的源里有没有memcache
?? sudo apt-cache search memcache
2. 如果有,就安装

?? sudo apt-get install memcache
?? 这时候会提示关联了 libevent0 ,是否安装? yes
?? 然后很顺利的就安装完了。
3. 如果第一步你的源里没有memcache..?
?? 就要,去ubuntu的论坛里把各种官方源都添加进去把。
?? 记得 sudo apt-get update 一下
4.检验是否安装成功.
?? 安装成功之后,memcache就自己启动了.通过进程查看一下
?? ps -aux??? 会查到一条记录
?? /usr/bin/memcached -m 64 -p 11211 -u nobody -l 127.0.0.1
?? 显示的就是 memcached 的端口11211 用户nobody 地址 127.0.0.1

?? 表示安装成功。

?

五、在Linux上手动安装Memcached

? 1、首先从memcached网站下载最新版的memcached源码包,同时去libevent下载最新的libevent源码。?

????? 基于libevent事件处理机制 http://www.monkey.org/~provos/libevent/
????? memcached: http://memcached.org/
? 2、解压下载回来的两个包。?
? 3、由于memcached需要使用libevent我们需要首先安装libevent?
?????? cd libevent?
?????? ./configure --prefix=/usr/local?
?????? make?
?????? sudo make install (这一步必需要用sudo 执行,否则会因为没有权限而报错,因为在编译过程中需要新建目录)?
?????? 如果中间有报错,请参照错误信息来配置或者增加需要的库。?


检测libevent 安装是否成功,输入:# ls -al /usr/lib | grep libevent? 会出现如下结果(不同的机器可能有不同的输出):?
XXXX@XXXXX:~$ ls -al /usr/lib |grep libevent
lrwxrwxrwx?? 1 root??? root????????? 21 2009-07-19 08:45 libevent-1.4.so.2 -> libevent-1.4.so.2.1.3
-rwxr-xr-x?? 1 root??? root????? 301588 2009-07-19 08:45 libevent-1.4.so.2.1.3
-rw-r--r--?? 1 root??? root????? 386638 2009-07-19 08:45 libevent.a
lrwxrwxrwx?? 1 root??? root????????? 26 2009-07-19 08:45 libevent_core-1.4.so.2 -> libevent_core-1.4.so.2.1.3
-rwxr-xr-x?? 1 root??? root????? 115721 2009-07-19 08:45 libevent_core-1.4.so.2.1.3
-rw-r--r--?? 1 root??? root????? 151618 2009-07-19 08:45 libevent_core.a
-rwxr-xr-x?? 1 root??? root???????? 860 2009-07-19 08:45 libevent_core.la
lrwxrwxrwx?? 1 root??? root????????? 26 2009-07-19 08:45 libevent_core.so -> libevent_core-1.4.so.2.1.3
lrwxrwxrwx?? 1 root??? root????????? 27 2009-07-19 08:45 libevent_extra-1.4.so.2 -> libevent_extra-1.4.so.2.1.3
-rwxr-xr-x?? 1 root??? root????? 239933 2009-07-19 08:45 libevent_extra-1.4.so.2.1.3
-rw-r--r--?? 1 root??? root????? 298406 2009-07-19 08:45 libevent_extra.a
-rwxr-xr-x?? 1 root??? root???????? 867 2009-07-19 08:45 libevent_extra.la
lrwxrwxrwx?? 1 root??? root????????? 27 2009-07-19 08:45 libevent_extra.so -> libevent_extra-1.4.so.2.1.3
-rwxr-xr-x?? 1 root??? root???????? 825 2009-07-19 08:45 libevent.la
lrwxrwxrwx?? 1 root??? root????????? 21 2009-07-19 08:45 libevent.so -> libevent-1.4.so.2.1.3

4、安装memcached?
??? cd memcached?
??? ./configure --with-libevent=/usr/local?
?? ?make?
?? ?sudo make install?? (这一步必需要用sudo 执行,否则会因为没有权限而报错,因为在编译过程中需要新建目录)
??? 如果中间有报错,请参照错误信息来配置或者增加需要的库。?

检查memcached 是否安装成功(不同机器可能输出不同): s -al /usr/local/bin/mem*?
XXXX@XXXXX:~$ ls -al /usr/local/bin/mem*
-rwxr-xr-x 1 root root 210268 2009-07-19 08:46 /usr/local/bin/memcached

至此安装已经完成。

?

六、管理Memcached

1. 手动启动memcached
?? memcached? -d? -m 128 -l 127.0.0.1 -p 11211 -u root
?? 以root用户,分配128M内存启动memcache
?? memcached? -d? -m 128 -l 127.0.0.1 -p 11212 -u root
?? 在另外一个端口11212启动另外一个memcache实例

?? 例:

?? /usr/local/bin/memcached -d -u nobody -m 1024 -p 11210 -l 10.11.12.70 -P /opt/memcached/pid/m11210.pid

?

2. 重启:先kill -9 掉进程,再执行启动相关参数的memcache

?

七、监视Memcached的状态

Memcached的命令:存储命令set/add/replace/append/prepend/cas
读取命令get=bget?/gets
删除命令delete
计数命令incr/decr
统计命令stats/settings/items/sizes/slabs
?使用命令:?使用方法如下:telnet?ip 端口,连接到memcached服务器。 退出telnet:quit
输入命令,例如:stats 可显示memcached服务的状态信息。?stats 命令,结果详细解释:
1.? pid: memcached服务进程的进程ID
2.? uptime: memcached服务从启动到当前所经过的时间,单位是秒。
3.? time: memcached服务器所在主机当前系统的时间,单位是秒。
4.? version: memcached的版本号。5.? pointer_size:服务器所在主机操作系统的指针大小,一般为32或64.
6.? curr_items:表示当前缓存中存放的所有缓存对象的数量。不包括目前已经从缓存中删除的对象。
7.? total_items:表示从memcached服务启动到当前时间,系统存储过的所有对象的数量,包括目前已经从缓存中删除的对象。
8.? bytes:表示系统存储缓存对象所使用的存储空间,单位为字节。
9.? curr_connections:表示当前系统打开的连接数。
10. total_connections:表示从memcached服务启动到当前时间,系统打开过的连接的总数。

11. connection_structures:表示从memcached服务启动到当前时间,被服务器分配的连接结构的数量,这个解释是协议文档给的,具体什么意思,我目前还没搞明白。
12. cmd_get:累积获取数据的数量,这里是3,因为我测试过3次,第一次因为没有序列化对象,所以获取数据失败,是null,后边有2次是我用不同对象测试了2次。
13. cmd_set:累积保存数据的树立数量,这里是2.虽然我存储了3次,但是第一次因为没有序列化,所以没有保存到缓存,也就没有记录。
14. get_hits:表示获取数据成功的次数。
15. get_misses:表示获取数据失败的次数。
16. evictions:LRU算法移除的对象数量,用来释放内存。
17. bytes_read:memcached服务器从网络读取的总的字节数。
18. bytes_written:memcached服务器发送到网络的总的字节数。
19. limit_maxbytes:memcached服务缓存允许使用的最大字节数。总的可用储存空间大小 .与我们启动memcached服务设置的大小一致
20. threads:被请求的工作线程的总数量。这个解释是协议文档给的,具体什么意思,我目前还没搞明白。

八、Memcached主要启动参数
?启动方式:
-d ??以守护程序(daemon)方式运行
-u root ?指定用户,如果当前为 root ,需要使用此参数指定用户
-P /tmp/a.pid?保存PID到指定文件内存设置:
-m 1024 ?数据内存数量,不包含memcached本身占用,单位为 MB
-M ??内存不够时禁止LRU,报错
-n 48??初始chunk=key+suffix+value+32结构体,默认48字节
-f 1.25 ?增长因子,默认1.25
-L??启用大内存页,可以降低内存浪费,改进性能连接设置:
-l 127.0.0.1 ?监听的 IP 地址,本机可以不设置此参数
-p 11211 ?TCP端口,默认为11211,可以不设置
-U 11211?UDP端口,默认为11211,0为关闭并发设置:
-c 1024?最大并发连接数,默认1024,最好是200
-t 4??线程数,默认4。由于memcached采用NIO,所以更多线程没有太多作用
-R 20??每个event连接最大并发数,默认20
-C??禁用CAS命令(可以禁止版本计数,减少开销)

读书人网 >软件架构设计

热点推荐