【原创】Tomcat集群环境下对session进行外部缓存的方法（1）-白红宇

【原创】Tomcat集群环境下对session进行外部缓存的方法（1）

阅读量：7239 次

发布时间：2019-06-29

本文共 19083 字，大约阅读时间需要 63 分钟。

BJJC网改版，

计划将应用部署在tomcat集群上，集群的部署方案为Apache+Tomcat6，连接件为mod_jk，其中开启了session复制和粘性session。计划节点数为3个。

到这，或许就可以中止了，tomcat集群谁不会建啊？实现了fail-over，当节点1处理会话时如果突然宕掉，那么其他节点会迅速接管而且不停顿的执行服务，对客户端完全透明，apache也很好的执行了lb，虽然还没有进行性能测试，但是起码横向扩展是没有问题的。但是，仔细想想，觉得还是有些问题。

为了实现fail-over，启用了session复制，这每个节点都会留一份session的副本，对于大规模的访问，tomcat能否撑住？假如集群面临1000个并发访问，虽然这1000个请求的压力会分散到3个节点上，但是实际上每个节点都有1000个session数，从资源的消耗上并没有节省多少，这样的话，再大的访问量并不一定撑得住。其实session复制的主要目的就是为了某节点宕掉后其他节点能迅速的接管请求，其实就是一个替补的作用。存在于其他节点中的session其实大部分都是空闲并且高度冗余。也就是说，session复制在节点数增多或者访问量激增时是很耗费资源占用中间件内存的。集群虽然提高了可用性，但是性能没有大的提升，尤其集群节点增多时。每当一个session创建后，节点都要向集群分发session，这样，节点都忙着传播session去了，集群的吞吐量会下降。

所以，一种做法就是将session外部存储或者cache，也就是说，将分散在各个节点中的会话信息拿出来，集中式存储，每个节点接收到客户端的会话请求时都去session池中查找session。这其实并不是什么很时髦的做法，大型的网站很多都采用这种办法，加上前端的页面缓存，提高网站的并发访问量和可用性，只是，在tomcat下如何做？

通过查看tomcat源码，发现可以重写tomcat的会话管理器，自定义类接管该服务，对应session的创建、管理任务进行接管，将session对象从中间件内存中剥离出来进行外部存储。同时对于静态页面或者个性化信息极少的页面，进行页面级cache。

因此，对于外部缓存，我选择的是MemCache，我首先在MemCache上进行了试验。MemCache将是Session和页面的缓存地，不过后来我放弃使用MemCache来缓存Session，原因后面会说明。

首先，我定义了以下类结构来完成这个工作，包括接管Tomcat的session管理以及缓存session对象等一系列操作：

类说明：

CachedSessionManager：该类继承自ManagerBase类，后者为Tomcat的会话管理器。

CachedSession：自定义的Session类，继承自StandardSession，为自定义的一个Tomcat的Session对象。

通过以上两个类，首先将Tomcat的会话管理器架空，其次，对Tomcat处理的Session对象进行了重写，这样，就完全将Session从Tomcat中剥离出来了，Session管理器和被管理的对象都是我自定义的了。

ISessionCaching：接口，抽象了session缓存的各种操作接口，该接口的实现类具体将决定如何对提供的Session进行缓存，我分别实现了四种缓存方案，Map、MemCache、Oracle、TimeSten。

SessionCacheDb：ISessionCaching接口的实现类，提供了数据库缓存session的解决方案，该类继承自DbCacheSession，后者具体决定如何缓存Session至db。

SessionCacheMap：ISessionCaching接口的实现类，提供了JVM内部Map缓存，该方法主要用来测试是否正确的接管了Tomcat的Session管理并能完全的拦截Session对象，无实际意义。

SessionCacheMemCache：ISessionCaching接口的实现类，提供了MemCache缓存Session的解决方案，其中该类依赖于MemCachedManager类，后者具体决定将如何缓存Session至MemCache.

TimeStenCacheSession：ISessionCaching接口的实现类，提供了TimeSten的存储方案，其实该类和SessionCacheDb没有什么区别，就是数据源来源不同。

核心的类：

CachedSessionManager：

package com.thunisoft.session;import java.io.IOException;import java.util.Date;import java.util.Enumeration;import java.util.HashMap;import org.apache.catalina.Session;import org.apache.catalina.session.ManagerBase;import org.apache.catalina.session.StandardSession;import org.apache.commons.logging.Log;import org.apache.commons.logging.LogFactory;import com.thunisoft.cache.ISessionCaching;/** * SessionCacheManager，Session自定义管理器 * @author zhangxsh * */public class CachedSessionManager extends ManagerBase {    private static String cachepath;    public String getCachepath() {        return cachepath;    }    public void setCachepath(String cachepath) {        this.cachepath = cachepath;    }    protected Log log = LogFactory.getLog(CachedSessionManager.class);        /**     * 定义如何将Session缓存     */    private ISessionCaching sessionCache;    @Override    public void add(Session session) {        if (log.isDebugEnabled()) {            log.debug("===================" + this.getSessionMaxAliveTime());        }        initCache();        if (session != null) {            sessionCache.addSession(session.getId(), (CachedSession) session,                    new Date(getExpireDate()));        }    }    /**     * 初始化Cache缓存，通过manager节点配置提供类名加载类     */    private synchronized void initCache() {        if (sessionCache == null) {            try {                sessionCache = (ISessionCaching) Class.forName(cachepath)                        .newInstance();                sessionCache.setManager(this);            } catch (InstantiationException e) {                // TODO Auto-generated catch block                e.printStackTrace();            } catch (IllegalAccessException e) {                // TODO Auto-generated catch block                e.printStackTrace();            } catch (ClassNotFoundException e) {                // TODO Auto-generated catch block                e.printStackTrace();            }        }    }    /**     * 获取session超时时间     *      * @return 时间毫秒数     */    private long getExpireDate() {        return getCurrentTime() + 15 * 60 * 1000;    }    private long getCurrentTime() {        return System.currentTimeMillis();    }    @Override    public Session createEmptySession() {        System.out.println("createEmptySession");        return new CachedSession(this, sessionCache);    }    @Override    public Session createSession() {        if (log.isDebugEnabled()) {            log.debug("createEmptySession:null");        }        return createSession(null);    }    @Override    public Session createSession(String sessionId) {        if (log.isDebugEnabled()) {            log.debug(sessionId + "--Session create");        }        Session session = createEmptySession();        session.setNew(true);        session.setValid(true);        session.setCreationTime(System.currentTimeMillis());        session.setMaxInactiveInterval(this.maxInactiveInterval);        if (sessionId == null) {            sessionId = generateSessionId();        }        session.setId(sessionId);        return (session);    }    @Override    public void expireSession(String sessionId) {        initCache();        sessionCache.removeSession(sessionId);    }    @Override    public Session findSession(String sessionId) throws IOException {        initCache();        if (sessionId == null) {            return null;        }        return sessionCache.findSession(sessionId);    }    @Override    public Session[] findSessions() {        // TODO Auto-generated method stub        return super.findSessions();    }    @Override    protected synchronized String generateSessionId() {        String sid = super.generateSessionId();        if (log.isDebugEnabled()) {            log.debug("generateSessionId--" + sid);        }        // TODO Auto-generated method stub        return sid;    }    @Override    protected StandardSession getNewSession() {        if (log.isDebugEnabled()) {            log.debug("getNewSession");        }        // TODO Auto-generated method stub        return new CachedSession(this, sessionCache);    }    @Override    public HashMap getSession(String sessionId) {        Session s = (Session) sessionCache.getSession(sessionId);        if (s == null) {            if (log.isInfoEnabled()) {                log.info("Session not found " + sessionId);            }            return null;        }        Enumeration ee = s.getSession().getAttributeNames();        if (ee == null || !ee.hasMoreElements()) {            return null;        }        HashMap map = new HashMap();        while (ee.hasMoreElements()) {            String attrName = (String) ee.nextElement();            map.put(attrName, getSessionAttribute(sessionId, attrName));        }        return map;    }    @Override    public String getSessionAttribute(String sessionId, String key) {        initCache();        Session s = (Session) sessionCache.getSession(sessionId);        if (s == null) {            if (log.isInfoEnabled())                log.info("Session not found " + sessionId);            return null;        }        Object o = s.getSession().getAttribute(key);        if (o == null)            return null;        return o.toString();    }    @Override    public int getSessionMaxAliveTime() {        // TODO Auto-generated method stub        return super.getSessionMaxAliveTime();    }    private int sessionAliveTime;    public void setSessionAliveTime(int sessionAliveTime) {        // TODO Auto-generated method stub        if (log.isInfoEnabled())            log.info("sessionMaxAliveTime" + sessionMaxAliveTime);        super.setSessionMaxAliveTime(sessionAliveTime);    }    @Override    public void remove(Session session) {        if (log.isInfoEnabled())            log.info("removeSession" + session.getId());        sessionCache.removeSession(session.getId());    }    @Override    public void setSessionIdLength(int idLength) {        // TODO Auto-generated method stub        super.setSessionIdLength(idLength);    }    public int getRejectedSessions() {        // TODO Auto-generated method stub        return 0;    }    @Override    public void load() throws ClassNotFoundException, IOException {        // TODO Auto-generated method stub            }    @Override    public void setRejectedSessions(int arg0) {        // TODO Auto-generated method stub            }    @Override    public void unload() throws IOException {        // TODO Auto-generated method stub            }}

CachedSession：

package com.thunisoft.session;import java.io.Serializable;import java.util.Map;import java.util.concurrent.ConcurrentHashMap;import javax.servlet.http.HttpSession;import org.apache.catalina.Manager;import org.apache.catalina.SessionListener;import org.apache.catalina.session.StandardSession;import com.thunisoft.cache.ISessionCaching;public class CachedSession extends StandardSession implements Serializable{    private static final long serialVersionUID = 1L;    /**     * session缓存方法接口     */    private ISessionCaching sessionCache;        Map sessionMap=new ConcurrentHashMap();        /**     * 重写默认构造方法，提供session管理器和缓存接口     * @param manager session管理器     * @param sessionCache session缓存     */    public CachedSession(Manager manager,ISessionCaching sessionCache){        super(manager);        this.sessionCache=sessionCache;    }    @Override    public void expire() {        // TODO Auto-generated method stub        super.expire();    }    @Override    public void setAttribute(String arg0, Object arg1, boolean arg2) {        // TODO Auto-generated method stub        /**         * 每当修改了一次对象类型，便重新往manager中set一次         */        super.setAttribute(arg0, arg1, arg2);        getManager().add(this);    }    @Override    public void expire(boolean arg0) {        // TODO Auto-generated method stub        super.expire(arg0);    }    @Override    public long getCreationTime() {        // TODO Auto-generated method stub        return super.getCreationTime();    }    @Override    public String getId() {        // TODO Auto-generated method stub        return super.getId();    }    @Override    public Manager getManager() {        // TODO Auto-generated method stub        return super.getManager();    }    @Override    public HttpSession getSession() {        // TODO Auto-generated method stub        return super.getSession();    }    @Override    public Object getValue(String name) {        // TODO Auto-generated method stub        return super.getValue(name);    }    @Override    public String[] getValueNames() {        // TODO Auto-generated method stub        return super.getValueNames();    }    @Override    protected String[] keys() {        // TODO Auto-generated method stub        return super.keys();    }    @Override    public void putValue(String name, Object value) {        // TODO Auto-generated method stub        super.putValue(name, value);    }    @Override    public void removeAttribute(String name, boolean notify) {        // TODO Auto-generated method stub        super.removeAttribute(name, notify);    }    @Override    public void removeAttribute(String name) {        // TODO Auto-generated method stub        super.removeAttribute(name);    }    @Override    protected void removeAttributeInternal(String arg0, boolean arg1) {        // TODO Auto-generated method stub        super.removeAttributeInternal(arg0, arg1);    }    @Override    public void removeNote(String name) {        // TODO Auto-generated method stub        super.removeNote(name);    }    @Override    public void removeSessionListener(SessionListener listener) {        // TODO Auto-generated method stub        super.removeSessionListener(listener);    }    @Override    public void removeValue(String name) {        // TODO Auto-generated method stub        super.removeValue(name);    }    @Override    public void setAttribute(String arg0, Object arg1) {        // TODO Auto-generated method stub        super.setAttribute(arg0, arg1);    }    @Override    public void setId(String id) {        // TODO Auto-generated method stub        super.setId(id);    }    @Override    public void setManager(Manager manager) {        // TODO Auto-generated method stub        super.setManager(manager);    }    @Override    public String toString() {        // TODO Auto-generated method stub        return "session";    }}

DbCacheSession：

1 package com.thunisoft.cache.impl.dbimpl;  2   3 import java.io.ByteArrayInputStream;  4 import java.io.ByteArrayOutputStream;  5 import java.io.IOException;  6 import java.io.ObjectInputStream;  7 import java.io.ObjectOutputStream;  8 import java.sql.Connection;  9 import java.sql.DriverManager; 10 import java.sql.PreparedStatement; 11 import java.sql.ResultSet; 12 import java.sql.SQLException; 13  14 import org.apache.commons.logging.Log; 15 import org.apache.commons.logging.LogFactory; 16  17 import com.thunisoft.session.CachedSession; 18  19 /** 20  * 数据库缓存Session 21  *  22  * @author zhangxsh 23  *  24  */ 25 public class DbCacheSession { 26  27     private static final Log log = LogFactory.getLog(DbCacheSession.class); 28  29     private byte[] writeObject(CachedSession session) { 30         ByteArrayOutputStream byteout = new ByteArrayOutputStream(); 31         ObjectOutputStream objout = null; 32         try { 33             objout = new ObjectOutputStream(byteout); 34             session.writeObjectData(objout); 35         } catch (IOException e) { 36             log.error("get bytes from session failed!", e); 37         } 38  39         return byteout.toByteArray(); 40     } 41  42     /** 43      * 根据sessionId和Session空对象构造完整的session对象 44      * @param sessionId sessionid 45      * @param session 空session对象 46      * @return 反序列化后的session对象 47      */ 48     public CachedSession getSessionObject(String sessionId, 49             CachedSession session) { 50  51         return readObjectFromDb(sessionId, session); 52     } 53  54     /** 55      * 根据sessionId和Session空对象构造完整的session对象 56      * @param sessionId sessionid 57      * @param session 空session对象 58      * @return 反序列化后的session对象 59      */ 60     private CachedSession readObjectFromDb(String sessionId, 61             CachedSession session) { 62         PreparedStatement stat = null; 63         byte[] sessionBytes = null; 64         try { 65             stat = getConnection().prepareStatement( 66                     "select c_session from  t_session where c_sid=?"); 67             stat.setString(1, sessionId); 68             ResultSet rus = stat.executeQuery(); 69             while (rus.next()) { 70                 sessionBytes = rus.getBytes(1); 71             } 72         } catch (SQLException e) { 73             // TODO Auto-generated catch block 74             e.printStackTrace(); 75         } 76  77         return readObject(sessionBytes, session); 78     } 79  80     /** 81      * 将Session对象序列化为二进制数据然后保存入库 82      * @param session session对象 83      */ 84     public void setSession(CachedSession session) { 85         byte[] sessionBytes = writeObject(session); 86         writeObjectIntoDb(session.getId(), sessionBytes); 87  88     } 89  90     public static void main(String[] args) { 91         // Session s=new Session(); 92         // s.setId("AERDS122223"); 93         DbCacheSession sess = new DbCacheSession(); 94         // sess.setSession(s); 95         String s = "AERDS122223"; 96         // System.out.println(sess.getSessionObject(s).getId()); 97  98     } 99 100     /**101      * 将session保存入库，先删再插102      * @param sessionId sid103      * @param sessionBytes session对象二进制数据104      */105     private void writeObjectIntoDb(String sessionId, byte[] sessionBytes) {106         PreparedStatement stat = null;107         Connection con = getConnection();108         try {109             stat = con.prepareStatement("delete from t_session where c_sid=?");110             stat.setString(1, sessionId);111             stat.execute();112             stat = con.prepareStatement("insert into t_session values(?,?)");113             stat.setString(1, sessionId);114             stat.setBytes(2, sessionBytes);115             stat.execute();116         } catch (SQLException e) {117             e.printStackTrace();118         } finally {119             try {120                 con.close();121                 stat.close();122             } catch (SQLException e) {123                 // TODO Auto-generated catch block124                 e.printStackTrace();125             }126 127         }128 129     }130 131     private CachedSession readObject(byte[] sessionBytes, CachedSession session) {132         if (sessionBytes == null) {133             return session;134         }135         ByteArrayInputStream ins = null;136         ObjectInputStream objipt = null;137 138         try {139             ins = new ByteArrayInputStream(sessionBytes);140             objipt = new ObjectInputStream(ins);141             session.readObjectData(objipt);142             ins.close();143             objipt.close();144         } catch (IOException e) {145             log.error("get session from bytes failed!", e);146         } catch (ClassNotFoundException e) {147             log.error("sesializable session failed!", e);148         }149         System.out.println(session.getId() + "-session is found");150         return session;151 152     }153 154     protected Connection getConnection() {155         Connection con = null;156         try {157             Class.forName("oracle.jdbc.driver.OracleDriver");158             con = DriverManager.getConnection(159                     "jdbc:oracle:thin:@127.0.0.1:1521:ORCL", "zhangxsh",160                     "zhangxsh");161 162         } catch (ClassNotFoundException e1) {163             // TODO Auto-generated catch block164             e1.printStackTrace();165         }166         // Context ctx;167         // DataSource ds = null;168         // Connection con = null;169         // try {170         // ctx = new InitialContext();171         // ds = (DataSource) ctx.lookup("jdbc/oracle");172         // con = ds.getConnection();173         //174         // } catch (NamingException e) {175         // log.error("can not find jndi:" + "jdbc/oracle", e);176         // } catch (SQLException e) {177         // // TODO Auto-generated catch block178         // e.printStackTrace();179         // }180         // return con;181         catch (SQLException e) {182             // TODO Auto-generated catch block183             e.printStackTrace();184         }185         return con;186     }187 }

将该类定义为一个manager加入context.xml中，启动tomcat，不用对应用做任何修改，因为修改的是tomcat。

以Oracle数据库缓存（暂时将session保存到数据库中）为例，部署到Tomcat集群下面(2个节点)测试效果：

1.首先打开测试页面：