最新公告
  • 新注册用户请前往个人中心绑定邮箱以便接收相关凭证邮件!!!点击前往个人中心
  • 使用Logstash同步MySQL数据库信息到ElasticSearch

    本文介绍如何使用logstash同步mysql数据库信息到ElasticSearch.

    1.准备工作

    1.1 安装JDK

    网上文章比较多,可以参考:https://www.dalaoyang.cn/article/16。

    1.2 安装Logstash

    我使用了5.x版本和6.x版本,可以参考:https://www.dalaoyang.cn/article/80。
    7.x版本未尝试!!!

    1.3 安装ruby

    安装过程可以参考:https://blog.csdn.net/qq_26440803/article/details/82717244,已经非常详细了。

    1.4 安装gem

    安装
    1yum install gem
    gem源修改
    1gem sources –add https://gems.ruby-china.com/ –remove https://rubygems.org/

    1.5 修改logstash中的Gemfile和Gemfile.jruby-1.9.lock文件

    img
    修改上图中Gemfile文件红框位置为
    1source “https://gems.ruby-china.com/”
    img
    修改上图中Gemfile.jruby-1.9.lock文件(其他版本logstash可能不叫这个名字,但是名字类似)红框位置为
    1remote: https://gems.ruby-china.com/

    1.6 安装bundler

    安装
    1gem install bundler

    1.7 安装logstash-input-jdbc插件

    安装
    1bin/logstash-plugin  install logstash-input-jdbc

    1.8 准备mysql-connector-java-x.x.x.jar

    需要准备一个mysql-connector-java-x.x.x.jar对应版本的jar,这里使用的是mysql-connector-java-5.1.6.jar。
    这个可以去官网下载:https://dev.mysql.com/downloads/connector/j/5.1.html

    2.配置logstash

    创建mysql-es.conf配置文件,名称可以自定,这里数据表以我博客友情链接表为例,内容如下:
    1input {
    2  jdbc {
    3    # 驱动包位置
    4    jdbc_driver_library => “/usr/local/logstash/logstash-5.6.16/mysql-connector-java-5.1.6.jar”
    5    # 驱动
    6    jdbc_driver_class => “com.mysql.jdbc.Driver”
    7    # 数据库地址
    8    jdbc_connection_string => “jdbc:mysql://ip:3306/dalaoyang”
    9    # 数据库连接用户名
    10    jdbc_user => “root”
    11    # 数据库连接用户密码
    12    jdbc_password => “password”
    13    # 执行sql语句文件位置
    14    # statement_filepath => “filename.sql”
    15    # 执行sql
    16    statement => “SELECT * from link_info”
    17    # 是否分页
    18    jdbc_paging_enabled => “true”
    19    # 分页数量
    20    jdbc_page_size => “50000”
    21    type => “jdbc”
    22    tracking_column => “update_date”
    23    use_column_value => false
    24    # 执行任务时间间隔,各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新
    25    schedule => “* * * * *”
    26  }
    27}
    28
    29
    30output {
    31  elasticsearch {
    32        hosts => “ip:端口”
    33        index => “test-mysql”
    34        # 数据库中的id
    35        document_id => “%{link_id}”
    36  }
    37}

    3.启动logstash

    执行命令启动
    1bin/logstash  -f mysql-es.conf
    启动后可以看到如图所示
    img

    4.查看ElasticSearch

    在ElasticSearch-head中可以看到对应mysql中的数据,如图
    img

    5.总结

    总的来说过程还是很简单的,没有遇到太大的问题,这只是mysql同步es的一种方式,还有很多方式可以使用。
    本站所有文章均由网友分享,仅用于参考学习用,请勿直接转载,如有侵权,请联系网站客服删除相关文章。若由于商用引起版权纠纷,一切责任均由使用者承担
    极客文库 » 使用Logstash同步MySQL数据库信息到ElasticSearch

    常见问题FAQ

    如果资源链接失效了怎么办?
    本站用户分享的所有资源都有自动备份机制,如果资源链接失效,请联系本站客服QQ:2580505920更新资源地址。
    如果用户分享的资源与描述不符怎么办?
    可以联系客服QQ:2580505920,如果要求合理可以安排退款或者退赞助积分。
    如何分享个人资源获取赞助积分或其他奖励?
    本站用户可以分享自己的资源,但是必须保证资源没有侵权行为。点击个人中心,根据操作填写并上传即可。资源所获收益完全归属上传者,每周可申请提现一次。
    如果您发现了本资源有侵权行为怎么办?
    及时联系客服QQ:2580505920,核实予以删除。

    参与讨论

    • 211会员总数(位)
    • 3737资源总数(个)
    • 0本周发布(个)
    • 0 今日发布(个)
    • 919稳定运行(天)

    欢迎加入「极客文库」,成为原创作者从这里开始!

    立即加入 了解更多
    成为赞助用户享有更多特权立即升级