小叮咚中文分词在处理大量数据的时候碰到了内存泄漏的问题
最近在测试小叮咚分词应用于weblucene搜索引擎的效果。
我们使用的源数据XML格式文件大概1.2G。
创建完成后的索引文件对比如下:
源文件:1.2G
小叮咚分词生成的索引文件:2217MB
二元分词生成的索引文件:2618MB 两者相差:401M
更详细的对比可以查看:中文分词和二元分词综合对比
下面是一份对索引文件的对比,可以看出主要的差别在于项(term)信息的差别。
索引文件列表 |
(121M)小叮咚分词 |
(146M)二元分词
|
|
deletable |
4 |
4 |
|
_fg4.f10 |
19K |
19K |
|
_fg4.f11 |
19K |
19K |
|
_fg4.f12 |
19K |
19K |
|
_fg4.f13 |
19K |
19K |
|
_fg4.f19 |
19K |
19K |
|
_fg4.fdt |
80M |
80M |
域值 |
_fg4.fdx |
156K |
156K |
域索引 |
_fg4.fnm |
135 |
135 |
标准化因子 |
_fg4.frq |
12M |
23M |
项频数 |
_fg4.prx |
26M |
36M |
项位置 |
_fg4.tii |
15K |
74K |
项索引 |
_fg4.tis |
1.1M |
5.8M |
项信息 |
segments |
17 |
17 |
|
在测试中碰到了2个问题,
1、内存泄漏
内存泄漏有两种情况:
一、随着时间的推移内存使用量逐渐增加(内存泄漏?),可以通过linux下的top命令观察到;
二、在程序运行半个小时候,内存使用量忽然增加,这时一般cpu的占用率也同时增加。
2、cpu占用率高
cpu占用率高和内存占用高成正比,就是当内存增长到150M左右的时候,cpu使用率就跳到了99.9%。
所以现在看来主要要解决内存使用量不断增加的问题。
lhelper也推荐了不少工具:
http://www.samspublishing.com/articles/article.asp?p=23618&seqNum=7&rl=1
http://tech.ccidnet.com/pub/article/c1112_a265199_p1.html
check java memory leak
tips
memory leaks , Be Gone
不知道大家在这方面有没有分享的经验。
相关连接:
[sandbox]Lucene中文分词的2个试验模块
» gRaSSland开发日记
分享到:
相关推荐
小程序 叮咚活动报名高级版V5.2.8
叮咚酒店营销版小程序v8.5.8+前端 版本号:8.5.8 – 老版用户专拍备注:小程序不用重新上传审核修复商家独立后台不能上传图片问题
叮咚酒店营销小程序开源版 v8.5.8.zip微信小程序模板源码
毕业设计的时候获得的,希望对大家在汉字处理中能用的到。 ICTCLAS算法,中科院,对名字识别能力很强。VC开发。 CSharp分词,向前匹配加向后最大匹配,C#开发,容易扩展。 小叮咚分词,由后向前最大匹配,C#开发。 ...
叮咚同城微圈小程序v11.4.2安装更新版.zip
志汇叮咚超级餐饮外卖小程序6.5.2
叮咚-超级外卖餐饮小程序V6.2.8微信小程序 开源版本,具备功能齐全,前后端均有
叮咚外卖餐饮小程序V6.1.9全解密版前端+后端【包更新】,修复多店前端距离显示问题! 提供志汇超级外卖餐饮小程序永久更新,链接地址:https://www.wazyb.com/shop/7338.html 志汇超级外卖餐饮小程序是一款智慧餐饮...
叮咚活动报名高级版小程序V5.2.8+前端 小程序 图1 v 前端 叮咚 报名 版小 免责声明: 1、本站资源均来自互联网,禁止用于商业与非法用途,产生后果由使用者承担,请在下载之后24小时内自觉删除。 2、一切使用本站...
叮咚同城微圈小程序11.3.4+前端.zip
叮咚-同城微圈小程序 11.3.6 小程序前端+后端,叮咚-同城微圈小程序 11.3.6 小程序前端+后端,叮咚-同城微圈小程序 11.3.6 小程序前端+后端
叮咚买菜招股书中文版
叮咚-外卖餐饮 6.2.7+叮咚跑腿 2.0.2 小程序前端+后端,叮咚-外卖餐饮 6.2.7+叮咚跑腿 2.0.2 小程序前端+后端
{GG叮咚}是什么,有什么特点? 不管是G《男》Girl是《女》是老 是少 打开你的电脑 Dancing together《舞动起来》!让我们接待全新的互动IM (以下简称“GG叮咚”)是完全免费的创新一代即时通讯工具。 GG叮咚 ...
叮咚同城微圈小程序V11.3.5 前端+后端
叮咚酒店全开源版本,支持多家酒店 入驻
叮咚超级外卖餐饮6.2.4+跑腿2.0.1小程序
叮咚同城微圈11.3.8小程序开源
app或者网站新订单提示音,叮咚,您有新订单,请及时处理!
叮咚外卖餐饮小程序前后端,6.3.7版本, 备注:不需要重新上传小程序 优化优势代码