当前位置：Gxlcms > PHP教程 > 基于RMM的简易中文分词

基于RMM的简易中文分词

时间：2021-07-01 10:21:17 帮助过：14人阅读

本程序为基于RMM中文分词思想，编写的简易中文分词，程序中还存在不少漏洞，望大神指点....优化了下乱码问题
  1. /**
  2. * 基于RMM中文分词（逆向匹配法）
  3. * @author tangpan
  4. * @date 2013-10-12
  5. * @version 1.0.0
  6. **/
  7. class SplitWord {
  8. //public $Tag_dic = array(); //存储词典分词
  9. public $Rec_dic = array(); //存储重组的分词
  10. public $Split_char = ' '; //分隔符
  11. public $Source_str = ''; //存储源字符串
  12. public $Result_str = ''; //存储分词结果字符串
  13. public $limit_lenght = 2;
  14. public $Dic_maxLen = 28; //词典中词的最大长度
  15. public $Dic_minLen = 2; //词典中词的最小长度
  17. public function SplitWord() { //初始化对象，并自动执行成员方法
  18. $this->__construct();
  19. }
  20. public function __construct() {
  21. $dic_path = dirname(__FILE__).'/words.csv'; //预先载入词典以提高分词速度
  22. $fp = fopen( $dic_path, 'r' ); //读取词库中的词
  23. while( $line = fgets( $fp, 256 ) ) {
  24. $ws = explode(' ', $line); //对词库中的词进行分割
  25. $ws[0] = trim(iconv('utf-8','GBK',$ws[0])); //编码转换
  26. //$this->Tag_dic[$ws[0]] = true; //以词为索引，序号为值
  27. $this->Rec_dic[strlen($ws[0])][$ws[0]] = true; //以词长度和词分别为二维数组的索引，以n为值，来重组词库
  28. }
  29. fclose($fp); //关闭词库
  30. }
  32. /**
  33. * 设置源字符串
  34. * @param 要分词的字符串
  35. */
  36. public function SetSourceStr( $str ) {
  37. $str = iconv( 'utf-8', 'GBK', $str ); // 将utf-8编码字符转换为GBK编码
  38. $this->Source_str = $this->DealStr( $str ); //初步处理字符串
  39. }
  41. /**
  42. * 检查字符串
  43. * @param $str 源字符串
  44. * @return bool
  45. */
  46. public function checkStr( $str ) {
  47. if ( trim($str) == '' ) return; //若字符串为空，直接返回
  48. if ( ord( $str[0] ) > 0x80 ) return true; //是中文字符则返回true
  49. else return false; //不是中文字符则返回false
  50. }
  53. /**
  54. * RMM分词算法
  55. * @param $str 待处理字符串
  56. */
  57. public function SplitRMM( $str = '' ) {
  58. if ( trim( $str ) == '' ) return; //若字符串为空，则直接返回
  59. else $this->SetSourceStr( $str ); //字符串不为空时，设置源字符串
  60. if ( $this->Source_str == ' ' ) return; //当源字符串为空时，直接返回
  61. $split_words = explode( ' ', $this->Source_str ); //以空格来切分字符串
  62. $lenght = count( $split_words ); //计算数组长度
  63. for ( $i = $lenght - 1; $i >= 0; $i-- ) {
  64. if ( trim( $split_words[$i] ) == ' ' ) continue; //如果字符为空时，跳过后面的代码，直接进入下一次循环
  65. if ( $this->checkStr( $split_words[$i] ) ) { //检查字符串,如果是中文字符
  66. if ( strlen( $split_words[$i] ) >= $this->limit_lenght ) { //字符串长度大于限制大小时
  67. //对字符串进行逆向匹配
  68. $this->Result_str = $this->pregRmmSplit( $split_words[$i] ).$this->Split_char.$this->Result_str;
  69. }
  70. } else {
  71. $this->Result_str = $split_words[$i].$this->Split_char.$this->Result_str;
  72. }
  73. }
  74. $this->clear( $split_words ); //释放内存
  75. return iconv('GBK', 'utf-8', $this->Result_str);
  76. }
  78. /**
  79. * 对中文字符串进行逆向匹配方式分解
  80. * @param $str 字符串
  81. * @return $retStr 分词完成的字符串
  82. */
  83. public function pregRmmSplit( $str ) {
  84. if ( $str == ' ' ) return;
  85. $splen = strlen( $str );
  86. $Split_Result = array();
  87. for ( $j = $splen - 1; $j >= 0; $j--) { //逆向匹配字符
  88. if ( $splen <= $this->Dic_minLen ) { //当字符长度大于词典中最小字符长度时
  89. if ( $j == 1 ) { //当长度为 1 时
  90. $Split_Result[] = substr( $str, 0, 2 );
  91. } else {
  92. $w = trim( substr( $str, 0, $this->Dic_minLen + 1 ) ); //截取前四个字符
  93. if ( $this->IsWord( $w ) ) { //判断词典中是否存在该字符
  94. $Split_Result[] = $w; //存在，则写入数组存储
  95. } else {
  96. $Split_Result[] = substr( $str, 2, 2 ); //逆向存储
  97. $Split_Result[] = substr( $str, 0, 2 );
  98. }
  99. }
  100. $j = -1; //关闭循环；
  101. break;
  102. }
  103. if ( $j >= $this->Dic_maxLen ) $max_len = $this->Dic_maxLen; //当字符长度大于词典最大词的长度时，赋值最大限制长度
  104. else $max_len = $j;
  105. for ( $k = $max_len; $k >= 0; $k = $k - 2 ) { //一次跳动为一个中文字符
  106. $w = trim( substr( $str, $j - $k, $k + 1 ) );
  107. if ( $this->IsWord( $w ) ) {
  108. $Split_Result[] = $w; //保存该词
  109. $j = $j - $k - 1; //位置移动到已匹配的字符的位置
  110. break; //分词成功即跳出当前循环，进入下一循环
  111. }
  112. }
  113. }
  114. $retStr = $this->resetWord( $Split_Result ); //重组字符串,并返回处理好的字符串
  115. $this->clear( $Split_Result ); //释放内存
  116. return $retStr;
  117. }
  119. /**
  120. * 重新识别并组合分词
  121. * @param $Split_Result 重组目标字符串
  122. * @return $ret_Str 重组字符串
  123. */
  124. public function resetWord( $Split_Result ) {
  125. if ( trim( $Split_Result[0] ) == '' ) return;
  126. $Len = count( $Split_Result ) - 1;
  127. $ret_Str = '';
  128. $spc = $this->Split_char;
  129. for ( $i = $Len; $i >= 0; $i-- ) {
  130. if ( trim( $Split_Result[$i] ) != '' ) {
  131. $Split_Result[$i] = iconv( 'GBK', 'utf-8', $Split_Result[$i] );
  132. $ret_Str .= $spc.$Split_Result[$i].' ';
  133. }
  134. }
  135. //$ret_Str = preg_replace('/^'.$spc.'/','、',$ret_Str);
  136. $ret_Str = iconv('utf-8','GBK',$ret_Str);
  137. return $ret_Str;
  138. }
  140. /**
  141. * 检查词典中是否存在某个词
  142. * @param $okWord 检查的词
  143. * @return bool;
  144. */
  145. public function IsWord( $okWord ) {
  146. $len = strlen( $okWord );
  147. if ( $len > $this->Dic_maxLen + 1 ) return false;
  148. else { //根据二维数组索引匹配，是否存在该词
  149. return isset($this->Rec_dic[$len][$okWord]);
  150. }
  152. }
  154. /**
  155. * 初步处理字符串（以空格来替换特殊字符）
  156. * @param $str 要处理的源字符串
  157. * @return $okStr 返回预处理好的字符串
  158. */
  159. public function DealStr( $str ) {
  160. $spc = $this->Split_char; //拷贝分隔符
  161. $slen = strlen( $str ); //计算字符的长度
  162. if ( $slen == 0 ) return; //如果字符长度为0，直接返回
  163. $okstr = ''; //初始化变量
  164. $prechar = 0; //字符判断变量(0-空白，1-英文，2-中文，3-符号)
  165. for ( $i = 0; $i < $slen; $i++ ) {
  166. $str_ord = ord( $str[$i] );
  167. if ( $str_ord < 0x81 ) { //如果是英文字符
  168. if ( $str_ord < 33 ) { //英文的空白符号
  169. if ( $str[$i] != '\r' && $str[$i] != '\n' )
  170. $okstr .= $spc;
  171. $prechar = 0;
  172. continue;
  173. } else if ( ereg('[@\.%#:\^\&_-]',$str[$i]) ) { //如果关键字的字符是数字或英文或特殊字符
  174. if ( $prechar == 0 ) { //当字符为空白符时
  175. $okstr .= $str[$i];
  176. $prechar = 3;
  177. } else {
  178. $okstr .= $spc.$str[$i]; //字符不为空白符时,在字符前串上空白符
  179. $prechar = 3;
  180. }
  181. } else if ( ereg('[0-9a-zA-Z]', $str[$i]) ) { //分割英文数字组合
  182. if ( (ereg('[0-9]',$str[$i-1]) && ereg('[a-zA-Z]',$str[$i]))
  183. || (ereg('[a-zA-Z]',$str[$i-1]) && ereg('[0-9]',$str[$i])) ) {
  184. $okstr .= $spc.$str[$i];
  185. } else {
  186. $okstr .= $str[$i];
  187. }
  188. }
  189. } else { //如果关键字的第二个字符是汉字
  190. if ( $prechar != 0 && $prechar != 2 ) //如果上一个字符为非中文和非空格，则加一个空格
  191. $okstr .= $spc;
  192. if ( isset( $str[$i+1] ) ) { //如果是中文字符
  193. $c = $str[$i].$str[$i+1]; //将两个字符串在一起，构成一个中文字
  194. $n = hexdec( bin2hex( $c ) ); //将ascii码转换成16进制，再转化为10进制
  195. if ( $n > 0xA13F && $n < 0xAA40 ) { //如果为中文标点符号
  196. if ( $prechar != 0 ) $okstr .= $spc; //将中文标点替换为空
  197. //else $okstr .= $spc; //若前一个字符为空，则直接串上
  198. $prechar = 3;
  199. } else { //若不是中文标点
  200. $okstr .= $c;
  201. $prechar = 2;
  202. }
  203. $i++; // $i 再加 1 ，即使一次移动为一个中文字符
  204. }
  205. }
  206. }
  207. return $okstr;
  208. }
  210. /**
  211. * 释放内存
  212. * @param $data 暂存数据
  213. */
  214. public function clear( $data ) {
  215. unset( $data ); //删除暂存数据
  216. }
  217. }
  218. ?>

人气教程排行

本站所有资源全部来源于网络，若本站发布的内容侵害到您的隐私或者利益，请联系我们删除！