当前位置：Gxlcms > mysql > Sphinx使用记录

Sphinx使用记录

时间：2021-07-01 10:21:17 帮助过：53人阅读

安装 安装前需要先去官网下载源码. 目前最新版本是 2.2.5-release, 点击下载即可。 当然，如果你想直接在命令行下载，直接下载我这个版本也行，就是不知道会不会版本太久。 tiankonguse:~ $ cd /usr/local/srctiankonguse:src $ su root -tiankonguse:src #

安装

安装前需要先去官网下载源码.
目前最新版本是 2.2.5-release, 点击下载即可。

当然，如果你想直接在命令行下载，直接下载我这个版本也行，就是不知道会不会版本太久。

  1. tiankonguse:~ $ cd /usr/local/src
  2. tiankonguse:src $ su root -
  3. tiankonguse:src # wget http://sphinxsearch.com/files/sphinx-2.2.5-release.tar.gz

然后解压缩，命令就不用说了吧

  1. tiankonguse:src # tar zxvf filename.tar.gz

后来听说 sphinx 有两种安装方式

  1. 单独安装，查询时采用API调用。
  2. 使用插件方式把sphinx编译成一个mysql插件并使用特定的sql语句进行检索。

这里我选择第一种方式，毕竟把 sphinx 和 mysql 耦合在一起的话， 将来将成为一个很大的坑。

sphinx 查询出来的是 id, 然后会进行二次查询得到想要的数据。

下面的命令都是在 root 权限下操作的。

  1. tiankonguse:sphinx-2.2.5-release # ./configure –prefix=/usr/local/sphinx
  2. tiankonguse:sphinx-2.2.5-release # make && make install

可以使用 --prefix 指向sphinx的安装路径 可以使用 --with-mysql 指向mysql的安装路径。

安装完毕后查看一下 /usr/local/sphinx 下是否有 三个目录 bin etc var，如有，则安装无误！

  1. tiankonguse:sphinx-2.2.5-release # cd /usr/local/sphinx/
  2. tiankonguse:sphinx # ls
  3. bin/  etc/  share/  var/

配置

mysql 数据源

由于我使用的是 mysql, 所以需要为 sphinx 创建对应的db。

  1. # server：127.0.0.1
  2. # database : d_sphinx_testdb
  3. # table: t_sphinx_article
  4. CREATE SCHEMA IF NOT EXISTS `d_sphinx_testdb` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci ;
  5. USE `d_sphinx_testdb` ;
  6. CREATE TABLE `d_sphinx_testdb`.`t_sphinx_article` (
  7.   `c_id` INT NOT NULL AUTO_INCREMENT,
  8.   `c_title` VARCHAR(45) NOT NULL DEFAULT '',
  9.   `c_content` VARCHAR(45) NOT NULL DEFAULT '',
  10.   `c_comment_num` VARCHAR(45) NOT NULL DEFAULT 0,
  11.   PRIMARY KEY (`c_id`))
  12. ENGINE = InnoDB
  13. DEFAULT CHARACTER SET = utf8;

sphinx 配置文件

首先需要找到需要配置的文件以及需要配置的内容。

我们需要配置的是 /usr/local/sphinx/sphinx.conf 文件里面的数据库的信息。

  1. tiankonguse:sphinx # cd etc
  2. tiankonguse:etc # 
  3. tiankonguse:etc # ls
  4. example.sql  sphinx-min.conf.dist  sphinx.conf.dist
  5. tiankonguse:etc #  cp sphinx.conf.dist sphinx.conf
  6. tiankonguse:etc # ls
  7. example.sql  sphinx-min.conf.dist  sphinx.conf  sphinx.conf.dist
  8. skyyuan:etc $ vi sphinx.conf

可以看到下面的内容设置数据源 source

  1. #############################################################################
  2. ## data source definition
  3. #############################################################################
  4. source d_sphinx_testdb 
  5. {
  6.     # data source type. mandatory, no default value
  7.     # known types are mysql, pgsql, mssql, xmlpipe, xmlpipe2, odbc
  8.     type            = mysql  # 数据库类型
  9.     # some straightforward parameters for SQL source types
  10.     #数据库主机地址
  11.     sql_host        = 127.0.0.1 
  12.     #数据库用户名
  13.     sql_user        = root      
  14.     #数据库密码
  15.     sql_pass        = pwd       
  16.     #数据库名称
  17.     sql_db          = d_sphinx_testdb  
  18.     # 数据库采用的端口
  19.     sql_port        = 3306  
  20.     # pre-query, executed before the main fetch query
  21.     # multi-value, optional, default is empty list of queries
  22.     #执行sql前要设置的字符集 
  23.     sql_query_pre   = SET NAMES UTF8 
  24.     # main document fetch query mandatory, integer document ID field MUST be the first selected column
  25.     # 全文检索要显示的内容，在这里尽可能不使用where或group by，将where与groupby的内容交给sphinx，由sphinx进行条件过滤与groupby效率会更高
  26.     # select 出来的字段必须至少包括一个唯一主键(ARTICLESID)以及要全文检索的字段，你计划原本在where中要用到的字段也要select出来，这里不需要使用orderby
  27.     sql_query = SELECT c_id,c_title,c_content,c_comment_num FROM t_sphinx_article
  28.     #####以下是用来过滤或条件查询的属性############
  29.     #sql_attr_ 开头的表示一些属性字段，你原计划要用在where,orderby,groupby中的字段要在这里定义
  30.     # unsigned integer attribute declaration
  31.     sql_attr_uint = c_comment_num  # 无符号整数属性
  32.     sql_attr_uint = c_id  # 无符号整数属性
  33.     # boolean attribute declaration
  34.     # sql_attr_bool     = is_deleted
  35.     # bigint attribute declaration
  36.     # sql_attr_bigint       = my_bigint_id
  37.     # UNIX timestamp attribute declaration
  38.     # sql_attr_timestamp    = posted_ts
  39.     # floating point attribute declaration
  40.     # sql_attr_float        = lat_radians
  41.     # string attribute declaration
  42.     sql_attr_string       = c_title
  43.     sql_attr_string       = c_content
  44.     # JSON attribute declaration
  45.     # sql_attr_json     = properties
  46.     # combined field plus attribute declaration (from a single column)
  47.     # stores column as an attribute, but also indexes it as a full-text field
  48.     #
  49.     # sql_field_string  = author
  50. }

然后设置数据源的索引

  1. index d_sphinx_testdb_index
  2. {
  3.     #数据源名
  4.     source = d_sphinx_testdb
  5.     # 索引记录存放目录
  6.     path = /usr/local/sphinx/var/data/d_sphinx_testdb_index
  7.     # 文档信息存储方式
  8.     docinfo = extern
  9.     #缓存数据内存锁定
  10.     mlock = 0
  11.     # 形态学
  12.     morphology = none
  13.     # 索引的词最小长度
  14.     min_word_len = 1
  15.     #数据编码
  16.     charset_type = utf-8
  17.     #最小前缀
  18.     min_prefix_len = 0
  19.     #最小中缀
  20.     min_infix_len = 1 
  21. }
  22. indexer  
  23. {  
  24.     # 内存限制
  25.     mem_limit  = 32M  
  26. }
  27. searchd  
  28. {  
  29.     # 监听端口
  30.     listen          = 9312  
  31.     # 服务进程日志
  32.     log         = /usr/local/sphinx/log/searchd.log  
  33.     # 客户端查询日志
  34.     query_log       = /usr/local/sphinx/log/query.log  
  35.     # 请求超时
  36.     read_timeout            = 5  
  37.     # 同时可执行的最大searchd 进程数
  38.     max_children            = 30  
  39.     #进程ID文件
  40.     pid_file        = /usr/local/sphinx/log/searchd.pid 
  41.     # 查询结果的最大返回数    
  42.     max_matches     = 1000  
  43.     # 是否支持无缝切换，做增量索引时通常需要
  44.     seamless_rotate         = 1  
  45. }

创建索引

进入 bin 目录，执行

  1. ./indexer 索引名

错误集

libmysqlclient.so.18

但是我报下面的错误

  1. ./indexer: error while loading shared libraries: libmysqlclient.so.18: cannot open shared object file: No such file or directory

原因：这主要是因为你安装库后,没有配置相应的环境变量.可以通过连接修正这个问题

  1. sudo ln /usr/local/mysql/lib/libmysqlclient.so.18 /usr/lib/libmysqlclient.so.18

但是还是报错，原来添加一个动态库后需要重新加载动态库。

  1. tiankonguse:bin #  ldconfig

Invalid cross-device link

但是我又报错了

  1. ln: creating hard link `/usr/lib/libmysqlclient.so.18 ' => `/usr/local/mysql/lib/libmysqlclient.so.18': Invalid cross-device link

于是我只好创建软连接了。

  1. sudo  ln -s /usr/local/mysql/lib/libmysqlclient.so.18 /usr/lib/libmysqlclient.so.18

查看检索是否启动

  1. tiankonguse:bin #  ps -ef | grep search
  2. tiankonguse   9601     1  0 Oct28 ?        00:00:00 xs-searchd: master                                             
  3. tiankonguse   9602  9601  0 Oct28 ?        00:00:00 xs-searchd: worker[1]                                          
  4. tiankonguse   9603  9601  0 Oct28 ?        00:00:00 xs-searchd: worker[2]                                          
  5. tiankonguse   9604  9601  0 Oct28 ?        00:00:00 xs-searchd: worker[3]                                          
  6. root     32637 18048  0 21:12 pts/0    00:00:00 grep search

WARNING attribute not found

执行索引的时候，看到这个错误，搜索了一下，原来主键不能加入到属性中去。

  1. WARNING: attribute 'c_id' not found - IGNORING

参考文档 数据源配置：mysql数据源 和 WARNING: zero/NULL document_id, skipping .

ERROR index No fields in schema

  1. ERROR: index 't_cover_sphinx_index': No fields in schema - will not index

还是在这里找到了原因。

使用sql_attr设置的字段，只能作为属性，使用SphinxClient::SetFilter()进行过滤；
未被设置的字段，自动作为全文检索的字段，使用SphinxClient::Query("搜索字符串")进行全文搜索

而我把所有字段都设置为 sql_attr 了，于是把需要全文索引的字段去掉。终于跑出一些接过来。

但是还有一些问题。

WARNING sql_query_info removed from Sphinx

  1. WARNING: key 'sql_query_info' was permanently removed from Sphinx configuration. Refer to documentation for details.

好吧，我说怎么没有在配置文件中看到 sql_query_info 的说明呢，原来已经删除了，那就注释掉吧。

word overrun buffer

还是搜主键搜到的原因是我的主键不是一个整数，而 sphinx 要求必须是一个整数。

  1. WARNING: source : skipped 300 document(s) with zero/NULL ids
  2. WARNING: word overrun buffer, clipped!!!
  3. WARNING: 601 duplicate document id pairs found

原文地址：Sphinx 使用记录, 感谢原作者分享。

人气教程排行

本站所有资源全部来源于网络，若本站发布的内容侵害到您的隐私或者利益，请联系我们删除！