logstash是什么logstash简介 logstash基本操作介绍

2022-12-01 13:34:13 来源：时代新闻网

一：logstash概述：

简单来说logstash就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端;与此同时这根管道还可以让你根据自己的需求在中间加上滤网，Logstash提供里很多功能强大的滤网以满足你的各种应用场景。

logstash常用于日志系统中做日志采集设备，最常用于ELK中作为日志收集器使用

二：logstash作用：

集中、转换和存储你的数据，是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到你最喜欢的“存储

三：logstash的架构：

logstash的基本流程架构：input | filter | output 如需对数据进行额外处理，filter可省略。

3.1 Input(输入)：采集各种样式，大小和相关来源数据，从各个服务器中收集数据。

数据往往以各种各样的形式，或分散或集中地存在于很多系统中。Logstash 支持各种输入选择，可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

3.2 Filter(过滤器)

用于在将event通过output发出之前对其实现某些处理功能。grok。

grok：用于分析结构化文本数据。目前是logstash中将非结构化数据日志数据转化为结构化的可查询数据的不二之选

[root@node1 ~]# rpm -ql logstash | grep "patterns$" grok定义模式结构化的位置。

/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns/grok-patterns

/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns/mcollective-patterns

[root@node1 ~]#

3.3 Output(输出)：将我们过滤出的数据保存到那些数据库和相关存储中，。

3.4 总结：

inpust：必须，负责产生事件(Inputs generate events)，常用：File、syslog、redis、beats(如：Filebeats)

filters：可选，负责数据处理与转换(filters modify them)，常用：grok、mutate、drop、clone、geoip

outpus：必须，负责数据输出(outputs ship them elsewhere)，常用：elasticsearch、file、graphite、statsd

四：安装logstash环境。依据rpm包进行下载。

准备了四个节点，实验备用;

节点 ip

192.168.126.128 node1

192.168.126.129 node2

192.168.126.130 node3

192.168.126.131 node4

[root@node1 ~]# rpm -ivh logstash-7.9.1.rpm

warning: logstash-7.9.1.rpm: Header V4 RSA/SHA512 Signature, key ID d88e42b4: NOKEY

Preparing... ################################# [100%]

Updating / installing...

1:logstash-1:7.9.1-1 ################################# [100%]

Using provided startup.options file: /etc/logstash/startup.options

/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/pleaserun-0.0.31/lib/pleaserun/platform/base.rb:112: warning: constant ::Fixnum is deprecated

Successfully created system startup script for Logstash

[root@node1 ~]# vim /etc/profile.d/logstash.sh 添加可执行文件路径

export PATH=$PATH:/usr/share/logstash/bin

[root@node1 ~]# source /etc/profile.d/logstash.sh

[root@node1 ~]# java -version 基于logstash是jruby语言编写，即需要java环境。

openjdk version "1.8.0_262"

OpenJDK Runtime Environment (build 1.8.0_262-b10)

OpenJDK 64-Bit Server VM (build 25.262-b10, mixed mode)

五：logstash的工作流程。

input { 从哪个地方读取，输入数据。

filter { 依据grok模式对数据进行分析结构化

output { 将分析好的数据输出存储到哪些地方

实例一：我们以标准输入，来输出数据。

[root@node1 ~]# cd /etc/logstash/conf.d/ 默认logstash的配制文件在这个目录下

[root@node1 conf.d]# ls

[root@node1 conf.d]# vim shil.conf

input {

stdin { 标准输入

output {

stdout { 标准输入

codec => rubydebug 编码格式ruby

[root@node1 conf.d]# logstash -f /etc/logstash/conf.d/shil.conf --config.debug 使用--config.debug进行验证配置是否有错误

WARNING: Could not find logstash.yml which is typically located in $LS_HOME/config or /etc/logstash. You can specify the path using --path.settings. Continuing using the defaults

Could not find log4j2 configuration at path /usr/share/logstash/config/log4j2.properties. Using default config which logs errors to the console

[WARN ] 2020-10-13 13:11:00.251 [main] runner - --config.debug was specified, but log.level was not set to 'debug'! No config info will be logged.

[INFO ] 2020-10-13 13:11:00.261 [main] runner - Starting Logstash {"logstash.version"=>"7.9.1", "jruby.version"=>"jruby 9.2.13.0 (2.5.7) 2020-08-03 9a89c94bcc OpenJDK 64-Bit Server VM 25.262-b10 on 1.8.0_262-b10 +indy +jit [linux-x86_64]"}

[INFO ] 2020-10-13 13:11:00.319 [main] writabledirectory - Creating directory {:setting=>"path.queue", :path=>"/usr/share/logstash/data/queue"}

[INFO ] 2020-10-13 13:11:00.340 [main] writabledirectory - Creating directory {:setting=>"path.dead_letter_queue", :path=>"/usr/share/logstash/data/dead_letter_queue"}

[WARN ] 2020-10-13 13:11:00.803 [LogStash::Runner] multilocal - Ignoring the 'pipelines.yml' file because modules or command line options are specified

[INFO ] 2020-10-13 13:11:00.845 [LogStash::Runner] agent - No persistent UUID file found. Generating new UUID {:uuid=>"593d27c7-7f01-4bbc-a68c-e60c555d2f73", :path=>"/usr/share/logstash/data/uuid"}

[INFO ] 2020-10-13 13:11:02.670 [Converge PipelineAction::Create

] Reflections - Reflections took 44 ms to scan 1 urls, producing 22 keys and 45 values

[INFO ] 2020-10-13 13:11:03.627 [[main]-pipeline-manager] javapipeline - Starting pipeline {:pipeline_id=>"main", "pipeline.workers"=>2, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>50, "pipeline.max_inflight"=>250, "pipeline.sources"=>["/etc/logstash/conf.d/shil.conf"], :thread=>"#"}

[INFO ] 2020-10-13 13:11:04.503 [[main]-pipeline-manager] javapipeline - Pipeline Java execution initialization time {"seconds"=>0.87}

[INFO ] 2020-10-13 13:11:04.567 [[main]-pipeline-manager] javapipeline - Pipeline started {"pipeline.id"=>"main"}

The stdin plugin is now waiting for input:

[INFO ] 2020-10-13 13:11:04.682 [Agent thread] agent - Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}

[INFO ] 2020-10-13 13:11:04.935 [Api Webserver] agent - Successfully started Logstash API endpoint {:port=>9600}

[root@node1 conf.d]# logstash -f /etc/logstash/conf.d/shil.conf --config.debug