正文 

当前位置： 首页 > java > java教程

快速搭建elk+openwaf环境

author author     2022-09-07     474

关键词：

摘要: OpenWAF是第一个全方位开源的Web应用防护系统; ELK 是比较火的开源日志分析系统; 本节主要介绍，ELK 的 docker 部署及与 OpenWAF 的结合

OpenWAF简介

OpenWAF是第一个全方位开源的Web应用防护系统（WAF），他基于nginx_lua API分析HTTP请求信息。OpenWAF由行为分析引擎和规则引擎两大功能引擎构成。其中规则引擎主要对单个请求进行分析，行为分析引擎主要负责跨请求信息追踪。

规则引擎的启发来自modsecurity及lua-resty-waf，将ModSecurity的规则机制用lua实现。基于规则引擎可以进行协议规范，自动工具，注入攻击，跨站攻击，信息泄露，异常请求等安全防护，支持动态添加规则，及时修补漏洞。

行为分析引擎包含基于频率的模糊识别，防恶意爬虫，人机识别等防探测模块，防CSRF，防CC，防提权，文件上传防护等防攻击模块，cookie防篡改，防盗链，自定义响应头，攻击响应页面等防信息泄露模块。

除了两大引擎之外，还包含统计，日志，攻击响应页面，接入规则等基础模块。除了已有的功能模块，OpenWAF还支持动态修改配置， 动态添加第三方模块，使得在不重启引擎中断业务的条件下，升级防护。

OpenWAF支持将上述功能封装为策略，不同的web application应用不同的策略来防护。将来还会打造云平台，策略还可分享供他人参考。

ELK简介

ELK是三个不同工具的简称,组合使用可以完成各种日志分析

Elasticsearch: 是一个基于 Apache Lucene(TM) 的开源搜索引擎,简单点说就是用于建立索引并存储日志的工具

Logstash: 是一个应用程序,它可以对日志的传输、过滤、管理和搜索提供支持。我们一般用它来统一对应用程序日志进行收集管理，提供Web接口用于查询和统计

Kibana: 用于更友好的展示分析日志的web平台,简单点说就是有图有真相,可以在上面生成各种各样的图表更直观的显示日志分析的成果

安装

ELK 的安装，网上有很多，这里只描述 docker 方式的部署

Elasticsearch

1、拉取 elasticsearch docker 镜像

 docker pull elasticsearch

2、启动 elasticsearch 容器

 docker run -d --name openwaf_es elasticsearch

3、获取 openwaf_es 地址

 docker inspect openwaf_es | grep IPAddress  
 得到地址为：192.168.39.17

 PS: elasticsearch 服务端口为 9200

 

Logstash

1、拉取 logstash docker 镜像

 docker pull logstash

2、启动 logstash 容器

 docker run -it --name openwaf_logstash -v /root/logstash.conf:/usr/share/logstash/config/logstash.conf logstash -f /usr/share/logstash/config/logstash.conf
PS:
 /root/logstash.conf 文件内容如下：
 udp {                  # udp 服务配置
     port => 60099      # 表示日志服务器监听在 60099 端口
     codec => "json"    # 接收 json 格式信息
 }
 output {
     elasticsearch {
         hosts => ["192.168.39.17:9200"] # elasticsearch 的地址为 39.17，且端口为 9200
     }
 }
 上面的配置表示：openwaf 向 logstash 的 60099 端口，发送 udp 协议的 json 日志，然后 logstash 将其存入 Elasticsearch

3、获取 openwaf_logstash 地址

 docker inspect openwaf_logstash | grep IPAddress  
 得到地址为：192.168.39.18

 

Kibana

1、拉取 kibana docker 镜像

 docker pull kibana

2、启动 logstash 容器

 docker run -d --name openwaf_kibana -e ELASTICSEARCH_URL=http://192.168.39.17:9200 kibana

3、获取 openwaf_kibana 地址

 docker inspect openwaf_kibana | grep IPAddress  
 得到地址为：192.168.39.19

 PS: kibana 服务端口为 5601

 

OpenWAF配置

conf/twaf_default_conf.json 中 twaf_log 模块

    "twaf_log": {
        "sock_type":"udp",
        "content_type":"JSON",
        "host":"192.168.39.18",
        "port":60099,
        ...
    }

 

测试

测试版 OpenWAF 地址 192.168.36.44，反向代理后端服务器 192.168.39.216

现访问 192.168.36.44/?a=1 order by 1

访问结果如下：

技术分享

此时，访问 192.168.39.19:5601，在 kibana 上查看日志

若第一次使用 kibana，需要生成一个索引，如下（使用默认）：

技术分享

kibana 日志显示如下：

技术分享

 

kibana 功能强大，可以做各种视图，用来分析日志，生成报表，更多功能请看 kibana官方文档

 

文章转自：https://my.oschina.net/qijian/blog/1186415

springboot--elk快速搭建(代码片段)

文章目录搭建ELKSpringboot使用ELKKibana查看示例代码快速搭建自己的日志收集，方便各个微服务的日志收集。搭建ELK采用docker-elk进行快速搭建ELK的环境进行clone仓库gitclonehttps://github.com/deviantony/docker-elk.git开启docker-composeup-d(需要... 查看详情

linux快速搭建elk日志分析平台

首先，在你的运行环境下创建一个安装目录1.mkdires，创建一个名为es的包。2.下载安装包并且上传到指定目录访问elasticSearch官网地址https://www.elastic.co/下载指定版本的安装包：elasticsearch-7.9.1.tar.gz通过XFTP上传安装包到... 查看详情

windows10下elk环境快速搭建实践

日志主要包括系统日志、应用程序日志和安全日志等。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及故障发生的原因。分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正... 查看详情

linux快速搭建elk日志分析平台

首先，在你的运行环境下创建一个安装目录1.mkdires，创建一个名为es的包。2.下载安装包并且上传到指定目录访问elasticSearch官网地址https://www.elastic.co/下载指定版本的安装包：elasticsearch-7.9.1.tar.gz通过XFTP上传安装包到... 查看详情

linux快速搭建elk日志分析平台

首先，在你的运行环境下创建一个安装目录1.mkdires，创建一个名为es的包。2.下载安装包并且上传到指定目录访问elasticSearch官网地址https://www.elastic.co/下载指定版本的安装包：elasticsearch-7.9.1.tar.gz通过XFTP上传安装包到... 查看详情

[elk]快速搭建简单的日志分析平台

下载ELK(Elasticsearch,Logstash,Kibana) Elasticsearch：wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.4.4.tar.gzLogstash：wget https://download.elasticse 查看详情

elk环境搭建(代码片段)

ELK环境搭建Virtualbox/Vagrant安装41.1.Virtualbox安装41.2.Vagrant安装41.2.1.简述41.2.2.Vagrantbox41.2.3.安装配置51.2.4.常用命令6ELK安装62.1.CentOS7系统配置62.1.1.安装iptables62.1.2.安装ifconfig62.1.3.禁用IPV672.2.安装Java并配置环境变量72.3.安装 查看详情

结合docker快速搭建elk日志收集分析平台

结合Docker快速搭建ELK日志收集分析平台2017-03-2709:39 阅读172 评论0作者：马哥Linux运维-EasonELKStackELK (Elasticsearch+Logstash+Kibana)，是一个开源的日志收集平台，用于收集各种客户端日志文件在同一个平台上面做数据分析。Int... 查看详情

elk快速线上搭建

Elasticsearch+Logstash+Kibana（ELK）是一套开源的日志管理方案，分析网站的访问情况时我们一般会借助Google/百度/CNZZ等方式嵌入JS做数据统计，但是当网站访问异常或者被攻击时我们需要在后台分析如Nginx的具体日志，而Nginx日志分割/... 查看详情

elk环境搭建完整说明(代码片段)

ELK环境搭建完整说明ELK：ElasticSerach、Logstash、Kibana三款产品名称的首字母集合，用于日志的搜集和搜索。简单地理解为我们可以把服务端的日志（nginx、tomcat等）直接web化展示查看，十分方便。本机环境说明：系统：centos7.5Elastic... 查看详情

elk环境搭建

预备环境：系统：CentOSLinuxrelease7.3.1611(Core)JDK：jdk1.8.0_144ES：elasticsearch-5.5.1索引管理：cerebro-0.6.5Logstash：logstash-5.5.1Kibana：kibana-5.5.1一、JAVA环境设置#tarxfjdk-8u144-linux-x64.tar.gz-C/data/app/#cat&nbs 查看详情

windows环境下elk平台的搭建

一、Windows环境下ELK平台的搭建   1.安装配置Java环境    在Oracle官网获取最新版的Java版本，由于只是运行不是开发，所以也可以只下载JRE。官网：http://www.oracle.com/   2.安装ELK    ... 查看详情

elk——使用docker快速搭建(代码片段)

前言"ELK"是三个开源项目的首字母缩写，这三个项目分别是：Elasticsearch、Logstash和Kibana。Elasticsearch是一个搜索和分析引擎。Logstash是服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到诸... 查看详情

elk+kafka构建日志收集系统之环境安装(代码片段)

....搭建环境本次选择搭建环境为ubuntu16并使用docker容器完成快速搭建3.ELK+Kafka执行原理图4.搭建步骤整体搭建步骤分为:Kafka以及zookpeer的安装elk的安装使用springboot发送消息到kafka并使用kibana查看日志5.开始搭建5.1:搭建Kafka以及zookpe... 查看详情

十分钟搭建和使用elk日志分析系统

...到本地，十分钟是可以搭建一个ELK系统的。本文介绍如何快速安装、配置、使用EK+FILEBEAT去实现日志搜集。本文 查看详情

（实际应用）elk环境搭建

今天给大家带来的是开源实时日志分析ELK,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站：https://www.elastic.co其中的3个软件是：Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自... 查看详情

十分钟搭建和使用elk日志分析系统(代码片段)

...到本地，十分钟是可以搭建一个ELK系统的。本文介绍如何快速安装、配置、使用EK+FILEBEAT去实现日志搜集。本文 查看详情

elk单台环境搭建

一、简介1、核心组成ELK由Elasticsearch、Logstash和Kibana三部分组件组成；Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。... 查看详情