先说一下发生的事情吧。

　　去年某时，一位朋友找到我，说他面临一个很严重的问题，如果此问题解决不了，他们的产品就不能被用户所接受，说白了就是白做了，拿不到钱。

　　他们给用户开发一套软件，但是用户通过文本导入数据过程中，软件直接假死，通过检查，用户导入数据大概有50万条之多，平时做测试时，他们通过文本导入数据大概在1万条左右，没想到数据量从1万增加到50万，程序竟然会假死。此问题如果不能很好解决，估计用户是不会买账了。

　　通过分析，他所要做的事情大致可以缩减如下：

　　　　1.总共10万个电话号码；

　　　　2.电话号码中有重复和错误；

　　　　3.查找出正确的号码（不重复）。

　　问题经过精简之后，我看着似曾相似，当然估计有些读者应该知道怎么做了。

　　我先说一下朋友的做法，大致如下（精简，剔除不必要的成份）：

　　　　1.先用正则过滤一遍10万条数据，找出错误的；

　　　　2.用List.Contains验证重复数据，List.Add添加不重复数据；

　　　　3.最终从List中取出正确的数据。

　　当然朋友将List换成Hash是做了一些效率上的提升，但是不明显。

　　听他把事情讲清楚后，看着他满面愁容，能理解他的心情，我以前私接项目，也懂得一个道理：要么不做，要么就做好；半途而废，耗时耗力耗财。而且一个人到了这种状态，成与不成的命运竟然跟一个小小的常备功能息息相关，而自己又做不出这个功能，眼看自己耗费那么多的精力、心血、时间在上面的一个产品，就要变成废品，就像是亲手养育的孩子要被无情扼杀，那种心情可想而知。

　　万事开头难，闯过这一关，之后道路就相对平坦了，任谁都不想在起步的道路中被阻碍，这个世界上没有那么多打不到、压不扁、锤不烂的刚豆豆型人物，一旦信心被磨灭，就再也走不远了。

　　我只是劝他别着急，然后给他做了两段测试代码，他看完后像抓到了救命稻草一般，都把我这个大活人给漠视了，仓皇离席。

　　我的做法大致如下（精简）：

　　　　1.先对10万数据排序

　　　　2.对比前后两条数据（这个我之后会详细说明为什么这么做）

　　　　3.筛选出正确数据

　　这么改动之后，朋友的一个假死功能，瞬间生龙活虎，在数秒就能处理好50万的数据样本。

 　  作为报酬，朋友事后往我账户里打入一万，这也是我们聊天时他半开玩笑的一个承诺，也就区区几行代码，这几行代码确实值钱了。按照他原想，是要拿出三至五万找人来优化代码的。

　　说道这里 ，貌似部分读者还是摸不着头脑。那么我就上测试代码以及测试结果。也许用实验证明远比语言要来的简单和真实。

以下是我写的一段Java测试代码：

appMain { _capacity = 1000000; Random rand = new Random(System.currentTimeMillis() + _capacity); 4 static ArrayList<String> list = new ArrayList<String>(_capacity); 5 static ArrayList<String> newlist = new ArrayList<String>(_capacity); main(String[] args) throws InterruptedException { 8 long ts = System.currentTimeMillis(); 9 int modVal = _capacity / 3; 10 for (int i = 0; i < _capacity; i++) { 11 rand.setSeed(i); 12 list.add(Integer.toString(Math.abs(rand.nextInt() % modVal))); 13 } 14 ts = System.currentTimeMillis() - ts; 15 System.out.println("生成时间 ：" + ts); 16 17 test1(); 18 test2(); 19 } test1() { 22 newlist.clear(); 23 int repetition = 0; 24 long ts = System.currentTimeMillis(); 25 for (String s : list) { 26 if (!newlist.contains(s)) 27 newlist.add(s); 28 else { 29 repetition++; 30 } 31 } 32 ts = System.currentTimeMillis() - ts; 33 System.out.println("------ 插入检查方法 -------"); 34 System.out.println("查找时间 ：" + ts); 35 System.out.println("重复 ：" + repetition); 36 System.out.println("正确 ：" + newlist.size()); 37 } test2() { 40 newlist.clear(); 41 int repetition = 0; 42 long ts = System.currentTimeMillis(); 43 44 Collections.sort(list); 45 String str = list.get(0); 46 int max = list.size(); 47 for (int i = 1; i < max; i++) { 48 if (str.equals(list.get(i))) { 49 repetition++; 50 continue; 51 } 52 newlist.add(str); 53 str = list.get(i); 54 } 55 newlist.add(str); 56 57 ts = System.currentTimeMillis() - ts; 58 System.out.println("------ 排序检查方法 -------"); 59 System.out.println("查找时间 ：" + ts); 60 System.out.println("重复 ：" + repetition); 61 System.out.println("正确 ：" + newlist.size()); 62 } 63 }

test1()，是我朋友使用的方式，test2()是我提供朋友的方式，运行结果出乎意料。