[es和mysql数据库同步]推荐一个同步Mysql数据到Elasticsearch的工具

zqc0512

有轮子都还造轮子啊。

套路不对呢。

2018-08-1416:27

MCTW回复zqc0512

_(ω」∠)_没办法啊同学。

曾经用过elasticsearch-jdbc，不是很能满足需求啊。

如果字段存的是竖线分隔的标签："金融|大数据|工作平台"，希望传到es变成字符串数组["金融","大数据","工作平台"]，这种轮子该怎么配置呢。

在已经同步大量数据的基础上，再多增加一个同步字段，这么简单的逻辑有的轮子竟然要把之前已有的数据全都再同步一遍呢。

elasticsearch里经常对中英文字段进行不同的分词方式，如果Mysql中一个字段又存英文，又存中文，希望同步到es时把中文同步到field_cn字段，把英文同步到field_en字段，mysqlsmom能轻易处理这种情况，不认为任何已有的轮子能轻易完成这个任务呢。

2018-08-1417:36

freedomcy007

logstash不是完美支持吗？

2018-08-1418:02

MCTW回复freedomcy007

对logstash了解的不深..它对于旧数据的更改、删除能增量同步嘛？能把"aa|bb|ccc"转成["aa","bb","ccc"]同步到es嘛？如果可以请告知一下...我这个项目就什么意义了(°ー°〃)

2018-08-1418:40

rochy回复MCTW

增量更新还是需要靠表结构的；使用字段映射模板，管理好字段名即可实现你说的切分效果

2018-08-1420:11

zqc0512

"金融|大数据|工作平台"，希望传到es变成字符串数组["金融","大数据","工作平台"logstash用kv“｜”做分割不行自己写fileter也可以的。

能够很好支持的，你研究研究下logstash吧。感觉你自己造的轮子好像不怎么好吧，不行你去修改logstash也来得稳定、快速。

有问题在https://discuss.elastic.co/c/logstash问老外。一般都会详细给你解答的。你把怎么处理数据提个问题。

一般都会支持给你把配置文件搞好。

logstash.

2018-08-1508:28

MCTW回复zqc0512

好的，谢谢

2018-08-1509:59

jiaofuyou

aa|bb|cc，借助logstashfilter可以实现拆分到ESarray字段中，但是增中同步，比如实现实时的update,insert,logstashjdbc还不行吧，而且要实时的更新，logstashjdbc也还是不能满足的吧

2018-08-2010:01

MCTW回复jiaofuyou

哇哦，Mysqlsmom可以实时同步的，大佬有兴趣可以尝试一下?(???)?

2018-08-2417:10

MCTW回复jiaofuyou

另外也支持实时同步删除的操作哦(?)

2018-08-2417:14

jiaofuyou回复MCTW

我的意思是，logstashjdbc实现增量同步和实时删除，不太容易实现，你这个Mysqlsmom可以实现这些实时的同步。

实际上来说，这种靠配置来实现业务上的数据转换，总的来说还是不够灵活，把数据从mysql同步到ES，有时并不是增加两个字段，转换下数据格式这么简单

这个东西，我的个人看法是用一个比较稳定的开源工具，把mysqlbinlog数据实时同步到MQ，然后业务上灵活的消费队列数据，做ETL

如可以使用阿里开源的canal把数据实时同步到kafka中存储，业务方消费kafka数据做各种处理，写ES或做其它

2018-08-3108:59

MCTW回复jiaofuyou

感谢大佬指点，受教了

2018-08-3110:52

wajika回复MCTW

能支持从mysql中拉取多张表，通过关联关系，然后聚合成一张宽表，再同步到ES中吗？

2019-04-3014:33

[es和mysql数据库同步]推荐一个同步Mysql数据到Elasticsearch的工具

标签：基础上   字符串数组   简单的   而且   大量数据   common   logs   stash   lsm