首页 > 计算机技术 > java处理大数据的一个优化解决方案
2015
04-01

java处理大数据的一个优化解决方案


之前和大家提过我们公司现在在做一个手机应用商店的项目,之前测过平均每分钟有2000条请求,每秒就是50左右,现在肯定更多,数据量大的时候每秒有400~500条sql插入操作(记录用户行为,每个请求都会将信息写入log表),然后我们目前是还没有用hadoop之类的分布式,服务器好像内存是8G,CPU是16核的,这些差不多就是现在的情况,经常导致连接超时,之前也做过一些优化 点击查看 大数据优化,今天又优化了下.之前是从配置和服务器层面,这次是代码层面。

java处理大数据

上面我说过每条请求进来我们都会将用户信息插入到数据库,400个同时进来就同时有400条sql插入,一个插入占一个连接,这样很危险的,经常导致连接撑爆,所以我们在这个地方直接起了一个线程,把大量的需要插入的数据放入线程的List里面,然后在线程里面做批量插入操作,这样的情况就是数据量大的时候只用了一个Connection就可以将300 400条数据插入到数据库,节省了大量的连接资源啊!我这个项目除了插入log数据量大之外,还有个Push功能,push广告之类的时候,每秒有1000以上的请求进来,在插入log表的时候还会插入push表,你说这样多伤啊,所以push这块也做了这样的优化操作.

思路就是上面那样,优化的结果就是,想都不用想,妈妈再也不用担心应用连接数据库会超时了,除非网速坑爹.

希望以上思路和优化解决方案可以帮助到各位朋友,我们马上也会使用到hadoop,到时候再来和大家分享经验.下面我先给出部分实例代码

1.插入log的线程代码

package com.xxx.appstore.util;
 
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.util.ArrayList;
import java.util.List;
 
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
 
import com.xxx.appstore.Constants;
import com.xxx.appstore.UserData;
import com.xxx.common.util.db.DBUtil;
 
public class InsertLogThread extends Thread {
    private static Logger logger = LoggerFactory.getLogger(InsertLogThread.class);
    private static List<UserData> saveList = new ArrayList<UserData>();
    private static List<UserData> actionList = new ArrayList<UserData>();
 
    public InsertLogThread(){             
    }
 
    public void addUserData(UserData data){
            synchronized(saveList){
                   saveList.add(data);
 
                   saveList.notify();
            }
    }
 
    public void run() {
            while(true){
                   while(saveList.size() > 0){
                           actionList.add(saveList.remove(0));
                           if(actionList.size() > 2000){
                                  break;
                           }
                   }
 
                   insertLog(actionList);
                   actionList.clear();
 
                   try {
                           synchronized(saveList){
                                  saveList.wait();
                           }
 
                   } catch (InterruptedException e) {
                           e.printStackTrace();
                   }                      
            }
    }
 
 
    /**
     * 插入本次请求。
     * 
     */
    public void insertLog(List<UserData> actionList){
            Connection con = null;
            PreparedStatement pst = null;
 
            String sql = "insert into tblLog(TId,UuId,Imsi,Brand,Model,Channel,Plat,AndroidVer,ScreenSize,Lang,AppStoreVer,Provider,ConnectionMode,GetLocType,LocStr,country,province,city,IpAddr,AccessType,CurrPage,ProPage,proContent,AppId,OtherParas,Created," +
                          "phone,product,sdk,display,codename,tCardSize,RAM,cpuClockSpeed,source,smsCenter,enc,pVer,imei,pkg) values(?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,sysdate," +
                           "?,?,?,?,?,?,?,?,?,?,?,?,?,?)";
            try {
                   con = DBUtil.getConnection(Constants.dbName);
 
                   long id = DBUtil.getNextSeq(con, "seq_tbllog_id");
                pst = con.prepareStatement(sql);
                for (int j = 0; j < actionList.size(); j++) {
                    UserData data = actionList.get(j);
                       pst.setLong(1, id);
                       pst.setString(2, data.aid);
                       pst.setString(3, data.imsi);
                       pst.setString(4, data.brand);
                       pst.setString(5, data.model);
                       pst.setString(6, data.key);
                       pst.setString(7, data.har);
                       pst.setString(8, data.release);
                       pst.setString(9, data.sc);
                       pst.setString(10, data.lang);
                       pst.setString(11, data.storeVer);
                       pst.setString(12, data.providerName);
                       pst.setString(13, data.netType);
                       pst.setString(14, null);
                       pst.setString(15, data.loc);
                       pst.setString(16, data.country);
                       pst.setString(17, data.province);
                       pst.setString(18, data.city);
                       pst.setString(19, data.ip);
                       pst.setString(20, getString(data.currentRequestType, 50));
                       pst.setString(21, getString(data.currentRequestContent, 50));
                       pst.setString(22, getString(data.lastRequestType, 50));
                       pst.setString(23, getString(data.lastRequestContent, 50));
                       pst.setString(24, data.appId);
                       pst.setString(25, getString(data.otherParams, 150));
                       pst.setString(26, data.phoneNum);
                       pst.setString(27, data.product);
                       pst.setString(28, data.sdk);
                       pst.setString(29, data.dis);
                       pst.setString(30, data.code);
                       pst.setString(31, data.tcard);
                       pst.setString(32, data.ram);
                       pst.setString(33, data.fre);
                       pst.setString(34, data.source);
                       pst.setString(35, data.smsCenter);
                       pst.setString(36, data.enc);
                       pst.setInt(37, data.pVer);
                       pst.setString(38, data.imei);
                       pst.setString(39, data.pkg);
 
                       pst.addBatch();
                }
              pst.executeBatch();
            }catch(Exception e){
                   logger.error("插入日志失败", e);
            }finally{
                   DBUtil.closePreparedStatement(pst);
                   DBUtil.closeConnection(con);
            }
    }
 
    public String getString(String str, int length){
            if(str == null){
                   return str;
            }
 
            while(str.getBytes().length > length){
                   str = str.substring(0, str.length() - 4);
            }
 
            return str;
    }
 
 
 
}

2.调用时候的代码,下面3句代码分别在不同的代码块,考虑到公司保密问题我就不把代码都拿出来了,只列出和本方案有关系的代码


public static InsertLogThread thread = new InsertLogThread();//再某个相关类调用的最上面实例话这个线程
thread.start();//在某个初始化的地方启动线程
 
thread.addUserData(userData);//在需要做线程操作的地方写入此代码      userData可以是对象也可以是值,看你们需要

 


作者:Darren中

原文地址: http://www.darrenzhong.com/?p=1504