分享web开发知识

注册/登录|最近发布|今日推荐

主页 IT知识网页技术软件开发前端开发代码编程运营维护技术分享教程案例
当前位置:首页 > 技术分享

【原创】大数据基础之Logstash(3)应用之http(in和out)

发布时间:2023-09-06 02:35责任编辑:赖小花关键词:http

一个logstash很容易通过http打断成两个logstash实现跨服务器或者跨平台间数据同步,比如原来的流程是

logstash: nginx log -> kafka

打断成两个是

logstash1: nginx log -> http out

logstash2: http in ->kafka

具体如下

http out

  filter {
    ruby {
      code => "event.cancel if not event.get(‘message‘).include?‘something‘"
    }
  }

output { ???http { ?????url => "http://test.server:10000" ?????codec => "plain" ?????format => "json" ?????content_type => "application/json" ?????http_method => "post" ???}}

可以通过filter跳过不需要的记录

http in

input { ???http { ???????host => "0.0.0.0" ???????port => 10000 ???????additional_codecs => {"application/json"=>"json"} ???????codec => "plain" ???????threads => 4 ???????ssl => false ???}}

http in

参考:https://www.elastic.co/guide/en/logstash/current/plugins-inputs-http.html

http out

参考:https://www.elastic.co/guide/en/logstash/current/plugins-outputs-http.html

【原创】大数据基础之Logstash(3)应用之http(in和out)

原文地址:https://www.cnblogs.com/barneywill/p/10562281.html

知识推荐

我的编程学习网——分享web前端后端开发技术知识。 垃圾信息处理邮箱 tousu563@163.com 网站地图
icp备案号 闽ICP备2023006418号-8 不良信息举报平台 互联网安全管理备案 Copyright 2023 www.wodecom.cn All Rights Reserved