1 起因 最近对新开发的web系统进行了压力测试,发现tomcat默认配置下压到600人的并发登录首页响应速度就有比较严重的影响,一轮出现2000多个的500和502错误。我把登录的时间统计做了一下,把服务器处理总时间打印出来,看了一下发现有个别响应确实在20秒,但平均时间和lr测试出来的还是相差很远。所以可以断定不是程序处理处理花费了这么多时间,由于在局域网测试,所以也可以排除网络问题。这就把问题圈定在tomcat的请求响应能力上了。先把tomcat线程数提升到1000,发现500和502的报错降到几十个,但是响应时间上还没什么提高。后来启动了2个tomcat,用 nginx做负载均衡,响应时间下降了40%,两个tomcat的处理时长都保持在1秒左右。 看来tomcat性能确实是系统的一个瓶颈,很有必要假设多个服务器来加强响应能力。之前由于只是测试登录,多个tomcat还不用共享session,但真正使用时是必须要能一起工作的。现记录一下负载均衡的安装配置过程。
2 解决方案的选择多个tomcat要一起协同工作有几种办法,可以考虑的方案有以下几个: 1. 使用tomcat自带的cluster方式,多个tomcat见自动实时复制session信息,配置起来很简单。但这个方案的效率比较低,在大并发下表现并不好。 2. 利用nginx的基于访问ip的hash路由策略,保证访问的ip始终被路由到同一个tomcat上,这个配置更简单。但是我们的应用很可能是某一个局域网大量用户同时登录,这样负载均衡就没什么作用了。 3. 利用memcached把多个tomcat的session集中管理,这是最直接的解决方案,但是操作起来也最为复杂。 我们的系统既要求性能,又要比较好的利用上负载均衡,所以第3个方案是首选。接下来就是安装搭建之路了。
3 安装配置3.1 memcached的安装1)先下载libevent-1.4.14b-stable.tar.gz和memcached-1.4.7.tar.gz的源码包,前者是后者的依赖包,就是一个事件驱动的包。 2)安装非常顺利,还是经典的那几个编译安装命令: - tar zxvf libevent-1.4.14b-stable.tar.gz
- cd libevent-1.4.14b-stable
- ./configure --prefix=/usr/local/libevent-1.4.14b
- make
- make install
- tar zxvf memcached-1.4.7.tar.gz
- cd memcached-1.4.7
- ./configure --prefix=/usr/local/memcached-1.4.7 --with-libevent=/usr/local/libevent-1.4.14b/
- make
- make install
3)启动memcached: ./bin/memcached -d -m 256 -u root -p 11211 -c 1024 -P /tmp/memcached.pid
3.2 memcached-session-manager配置让tomcat调用memcached来存储session早就是一个很成熟的解决方案了,开源的msm就可以解决这个问题。比较折腾的就是要用到的jar包,官方文档说的也比较含糊,我这里用的是kryo的序列化方案,所以用到的包多一些,分别是: kryo-1.03.jar kryo-serializers-0.8.jar memcached-2.5.jar(我在官方看最新已经到2.7了,但是msm官方说用2.5,可能新包没测试过,特别是2.6版本changelog里面提到api有调整,还是不要乱升的好) memcached-session-manager-1.5.1.jar memcached-session-manager-tc7-1.5.1.jar minlog-1.2.jar msm-kryo-serializer-1.5.1.jar reflectasm-0.9.jar 以上这些包都放在$CATALINA_HOME/lib目录下。 另外提一下,官方给出的4种序列化方案,其中kryo是效率最高的,具体比较看http://code.google.com/p/memcached-session-manager/wiki/SerializationStrategies
接下来是修改tomcat的配置文件$CATALINA_HOME/conf/server.xml,调整成新的session存储方式。配置文件中加入以下内容:
- <Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
- memcachedNodes="n1:127.0.0.1:11211"
- sticky="false"
- lockingMode="auto"
- sessionBackupAsync="false"
- sessionBackupTimeout="1000"
- transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"
- />
复制代码在$CATALINA_HOME/conf/logging.properties文件中添加de.javakaffee.web.msm.level=FINE,就可以在catalina.out的日志中看到详细的session存取情况。
另外在Manager配置中加上requestUriIgnorePattern=".*\.(png|gif|jpg|css|js)$",用 chrome浏览器测试发现居然sessionID会突然变掉,然后就被拦截器给跳回首页了。去掉就一切正常,但拦截器只会去检测action的,按理说应该完全没关系,望高人指点!
3.3 nginx配置nginx非常简单,只要在upstream里面多配置几个server就可以了,这里把我的配置贴出来:
#################################################################
参考http://www.iteye.com/topic/1125301
tomcat session共享lib包 http://pan.baidu.com/s/1bnrTJCN
本人改过后server.xml添加的配置文件
- <Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
- memcachedNodes="n1:10.139.105.243:11211"
- sticky="false"
- sessionBackupAsync="false"
- lockingMode="uriPattern:/path1|/path2"
- requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)[ DISCUZ_CODE_2 ]quot;
- transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"
- />
- </Context>
复制代码
MSM--Memcached_Session_Manager介绍及使用
|