1 [07-25 13:15:06:511:DEBUG:CUDThread.run():246] 当前待处理剩余数量：23473 2 [07-25 13:15:10:948:DEBUG:CUDThread.run():219] 新增数据插入影响行数：5000 耗时：4434 3 [07-25 13:15:10:950:DEBUG:CUDThread.run():246] 当前待处理剩余数量：42028 4 [07-25 13:15:14:666:DEBUG:CUDThread.run():219] 新增数据插入影响行数：5000 耗时：3715 5 [07-25 13:15:14:668:DEBUG:CUDThread.run():246] 当前待处理剩余数量：49338
也许与我当前笔记本硬盘有关系；电脑性能占用问题；
插入速度是慢了，我们来看看查询速度吧，
我们可以看到插入速度快很多；
当然此时的数据量确实么有之前的多，因为测试问题，插入的数据的确实很慢，
如果是mysql 数据库，还需要加入联合索引查询才会翻倍提升性能；mysql插入速度会比sqlite好一点，因为sqlie本身就不适用于大型数据集合； 第四章 其实以上工作只是做到了索引优化问题；但是也抵不住越来越多的数据；对不对？所以还是的寻求其他方式来解决问题；
我们先来分析情况
可以建立分区表形式；但是建立分区表，数据也只是在一个表内大hash集合，然后区分的小hash集合，然后就算mysql这种官方建议的分区表都是200万条数据；
所以没有尝试过；有兴趣的同学可以研究研究；
我想到的第二种方式，分表，之前在做游戏运营后台，接受来之多个游戏的运营日志数据，就采用了这种方式，分表，每一天一张表，来划分；
所以我很快又想到了这种方式，我以每一个关卡划分通关数据记录，
可是仔细一想肯定不行啊，因为按照现在消消乐这种游戏来说1200关，1000多张表，维护都得忙死；而且越往后越更新越多，依然不可行！
任何游戏只要在生存周期内，就有有人加入，有人流失；
那么消消乐这种关卡类的游戏，那么数据量永远都在前面关卡，越往后越少，就跟我前面说的一样，每一关卡都会流失0.xxx%；
那么我们可以设计30张表，30张总能接受了吧？
起码我是能接受了；
可是如何优雅的利用30张表数据的呢？
我们分析可得越靠前的关卡，数据越多，
那么我们设计前800关卡的数据存入20张表；
后面的所以表记录到剩余的10张表中；
创建表，获取表名的简易算法；
* 获取表名 3 * point String getTableName(int point) { 8 int tableId = 0; 9 if (point < 300) { tableId = 1000 + point % 15; 12 } else if (point < 800) { tableId = 2000 + point % 5; 15 } else { tableId = 3000 + point % 10; 18 } TopList.class.getSimpleName().toLowerCase() + tableId; 21 }
创建表
1 int points = 1200; 2 3 TopList topList = new TopList(); 4 for (int i = 1; i <= points; i++) { 5 topList.setDataTableName(getTableName(i)); sdi.createTable(topList); 8 }
表自动创建完成；
(int i = 1; i <= 50000; i++) { 3 long id = longId0.getId(); j = 1; 6 for (; j <= points; j++) { 7 8 TopList clone = (TopList) topList.clone(); 9 clone.setDataTableName(getTableName(j)); 10 clone.setPid(id); 11 clone.setTime(System.currentTimeMillis()); 12 clone.setPoint(j); 13 clone.setStar(3); clone.setIntegral(RandomUtils.random(20000, 400000)); 16 17 cudt.insert_Sync(clone); 18 } 19 log.info("总共写入数据量：" + (i * (j - 1))); 20 Thread.sleep(1000); 21 }
写入速度，已经得到提升了，
1 [07-25 14:24:12:293:DEBUG:CUDThread.run():219] 新增数据插入影响行数：3000 耗时：2750 2 [07-25 14:24:12:294:DEBUG:CUDThread.run():246] 当前待处理剩余数量：3600 3 [07-25 14:24:12:605:INFO :TopTest.main():68] 总共写入数据量：222185 4 [07-25 14:24:13:619:INFO :TopTest.main():68] 总共写入数据量：223386 5 [07-25 14:24:14:647:INFO :TopTest.main():68] 总共写入数据量：224587 6 [07-25 14:24:14:757:DEBUG:CUDThread.run():219] 新增数据插入影响行数：3000 耗时：2463 7 [07-25 14:24:14:758:DEBUG:CUDThread.run():246] 当前待处理剩余数量：4200 8 [07-25 14:24:15:690:INFO :TopTest.main():68] 总共写入数据量：225788 9 [07-25 14:24:16:709:INFO :TopTest.main():68] 总共写入数据量：226989 10 [07-25 14:24:17:502:DEBUG:CUDThread.run():219] 新增数据插入影响行数：3000 耗时：2744 11 [07-25 14:24:17:502:DEBUG:CUDThread.run():246] 当前待处理剩余数量：3600 12 [07-25 14:24:17:743:INFO :TopTest.main():68] 总共写入数据量：228190 13 [07-25 14:24:18:755:INFO :TopTest.main():68] 总共写入数据量：229391 14 [07-25 14:24:19:783:INFO :TopTest.main():68] 总共写入数据量：230592 15 [07-25 14:24:20:250:DEBUG:CUDThread.run():219] 新增数据插入影响行数：3000 耗时：2748 16 [07-25 14:24:20:250:DEBUG:CUDThread.run():246] 当前待处理剩余数量：4200 17 [07-25 14:24:20:824:INFO :TopTest.main():68] 总共写入数据量：231793 18 [07-25 14:24:21:843:INFO :TopTest.main():68] 总共写入数据量：232994
查询速度在第三章已经验证了，就不在验证；
总结
像消消乐这类型游戏重点就在于排行榜数据存储和读取，然后写入和读取相比，写入的需求远远小于读取的需求；
我做的是实时数据排行榜区分；
当然我们还可以利用mysql的主从关系，提供读写分离情况，做非实时排行榜数据；
也可以利用非滑动缓存来做非实时排行榜，解决写入和读取的性能平衡问题，缓存可以设置比如每5分钟或者每10分钟更新一次排行榜数据来完成；
以上分析就不再做代码测试；
这是我分析和我的解决方案，不知道屌大的园友们还要更好的解决方案吗？
相关文章
精彩导读
热门资讯
关注我们
