基于Python的中文分词方案那种比较好?
时间:2021-07-01 10:21:17
帮助过:38人阅读
回复内容:
"结巴"中文分词:做最好的Python中文分词组件 "Jieba" (Chinese for "to stutter") Chinese text segmentation: built to be the best Python Chinese word segmentation module.
https://github.com/fxsjy/jieba
pynlpir,对ictclas的封装,最近做毕设正在用,速度和准确率都很好~
闲来无事,写了两个分词程序,一个是基于mmseg的另一个是基于CRF的,目前已经上传pypi.
pip install scseg
pip install genius
其实我没有用过python或其他任何语言的分词库,不过恰好在OSChina上看到了几个python的中文分词库,有几个也是前面一些知友提到的,我把链接转过来吧:
- http://www.oschina.net/project/tag/264/segment?sort=view&lang=25&os=0
python调用c库,可以使用中科院的分词,感觉还行,就是导入用户自定义的词库存在失败率,然后还无法调试出原因
今天刚给四款python中文分词的做了简单测试
http://hi.baidu.com/fooying/item/6ae7a0e26087e8d7eb34c9e8
smallseg ;
轻量级,容易使用。
jieba 路过。。。
中科院和哈工大的两个分词包就挺好
网上有人做了总结,发来给大家参考
几种开源分词工具的比较
有个 mmseg for python 分词
我没用过python语言写的分词程序。
分词这种功能属于计算密集型功能,需要大量计算,python不适合这种场合,可以考虑python调用c库。