数据类型
logstash支持的数据类型有:
- array
数组可以是单个或者多个字符串值。
path => [ "/var/log/messages", "/var/log/*.log" ]
path => "/data/mysql/mysql.log"
如果指定了多次,追加数组。此实例path数组包含三个字符串元素。 - boolean
布尔值必须是TRUE或者false。true和false不能有引号。
ssl_enable => true - bytes
指定字节单位。支持的单位有SI (k M G T P E Z Y) 和 Binary (Ki Mi Gi Ti Pi Ei Zi Yi)。Binary单位基于1024,SI单位基于1000。不区分大小写和忽略值与单位之间的空格。如果没有指定单位,默认是byte。
my_bytes => "1113" # 1113 bytes
my_bytes => "10MiB" # 10485760 bytes
my_bytes => "100kib" # 102400 bytes
my_bytes => "180 mb" # 180000000 bytes - Codec
logstash编码名称用来表示数据编码。用于input和output段。便于数据的处理。如果input和output使用合适的编码,就无需单独的filter对数据进行处理。
codec => "json" - hash
键值对,注意多个键值对用空格分隔,而不是逗号。
match => {
"field1" => "value1"
"field2" => "value2"
... } - number
必须是有效的数值,浮点数或者整数。
port => 33 - password
一个单独的字符串。
my_password => "password" - path
一个代表有效的操作系统路径。
my_path => "/tmp/logstash" - string
name => "Hello world"
name => 'It\'s a beautiful day'
字段引用
logstash字段引用语法。要在 Logstash 配置中使用字段的值,只需要把字段的名字写在中括号 [] 里就行了,这就叫字段引用。还需注意字段层次。如果引用的是一个顶级字段,可以省略[],直接指定字段名。要引用嵌套的字段,需要指定完整的路径,如[top-level field][nested field]。
下面有五个顶级字段(agent, ip, request, response, ua) 和三个嵌套字段 (status, bytes, os)。
为了引用os字段,需指定[ua][os]。引用顶级字段如request,可以简单指定request即可。
sprintf格式
字段引用格式也可以用于logstash调用sprintf格式。这种格式可以从其他字符串中引用字段值。如:
也可以格式化时间。如:
条件判断
使用条件来决定filter和output处理特定的事件。
logstash条件类似于编程语言。条件支持if、else if、else语句,可以嵌套。
条件语法如下:
比较操作有:
- 相等:
==
,!=
,<
,>
,<=
,>=
相关推荐
开源社区正好有相对应的开源项目:logstash(收集)、elasticsearch(存储+搜索)、kibana(展示),我们将这三个组合起来的技术称之为ELK,所以说ELK指的是Elasticsearch、Logstash、Kibana技术栈的结合。...
ELK语法命令--- 集合 1、启动Logstash 1) ./logstash -e 'input{stdin{}} output{stdout{}}' 2) ./logstash -e 'input{stdin{}} output{stdout{ codec => json}}' #输出格式使用json格式 3) ./logstash -e 'input{...
Elasticsearch 全部采用 JSON 接口,Logstash 是 Ruby DSL 设计,都是目前业界最通用的配置语法设计; 检索性能高效。虽然每次查询都是实时计算,但是优秀的设计和实现基本可以达到全天数据查询的秒级响应; 集群...
Elasticsearch 全部采用 JSON 接口,Logstash 是 Ruby DSL 设计,都是目前业界最通用的配置语法设计; ? 检索性能高效。虽然每次查询都是实时计算,但是优秀的设计和实现基本可以达到全天数据查询的秒级响应; ? ...
基于Logstash的日志处理配置语法1 语法1 区段用 {} 表示bin/logstash -e 'input { stdin { } } output {
logstash是一种分布式日志收集框架,开发语言是JRuby,当然是为了与Java平台对接,不过与Ruby语法兼容良好,非常简洁强大,经常与ElasticSearch,Kibana配置,组成著名的ELK技术栈,非常适合用来做日志数据的分析
设计,都是目前业界最通用的配置语法设计; 检索性能高效。虽然每次查询都是实时计算,但是优秀的设计和实现基本可以 达到全天数据查询的秒级响应; 集群线性扩展。不管是 Elasticsearch 集群还是 Logstash 集群都是...
logstash是一种分布式日志收集框架,开发语言是JRuby,当然是为了与Java平台对接,不过与Ruby语法兼容良好,非常简洁强大,经常与ElasticSearch,Kibana配置,组成著名的ELK技术栈,非常适合用来做日志数据的分析。
核心文件可到momosec 的github库下载,本文件是对部署,以及使用ELK存储展示记录详细配置的记录,其中主要包含grok切割语法和logstash的配置部分
技术组件包括:elasticsearch + logstash + kafka + filebeat + head + zookeeper + kibana ...7.elasticsearch常用查询语法 8.filebeat基座制作及微服务集成 9.elasticsearch集群 10.filebeat使用
ELK:Elasticsearch + Logstash + Kibana 数据库: MySQL(其事务特性可做稳定的数据存储) + Spring Data JPA 前端框架: thymeleaf(模版引擎技术,语法更接近HTML) + Bootstrap(前端开发框架) + JQuery 项目...