Elastic Stack을 운영중 data node 용량 문제로 아래와 같은 에러 로그를 발견. 해결책에 대하여 알아보자. org.elasticsearch.xpack.monitoring.exporter.ExportException: ClusterBlockException[blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];] Caused by: org.elasticsearch.cluster.block.ClusterBlockException: blocked by: [FORBIDDEN/12/index read-only / allow delete (api)]; 1. Elasticsearch Error Logs elastic master node log files 2. Elasticsearch Error 원인 (Cause) elastic…
[태그:] ElasticSearch
elktail 사용한 elasticsearch 모니터링 정리
elktail 기능 요약 1. Elktail은 ELK(elasticsearch, logstash, kibana) 로그를 쿼리하고 tail 기능을 사용하는 CLI 기반 유틸리티 입니다. Kibana의 웹 인터페이스를 사용하여 로그를 검색하고 분석하는 것이 항상 유용한 것은 아닙니다. 원하고자 하는 작업별로 tail…
ElasticSearch 활용 장점 및 기능 사례 정리
elasticsearch 로 하고 있는것들 최초 개발이유 1. 통합 로그 검색 시스템이 필요 (장애나 이슈 발생시 연관된 수많은 Node(서버,스위치,스토리지 등등) 의 Log를 일일이 접속해서 들여다본다는건 노가다 + 눈알 빠짐) 2. 공짜면서 운영이 쉬워야함 (splunk 등도있으나 결국…
elasticsearch 활용 사례 보안 위협 탐지
머신 러닝 및 Elasticsearch를 통한 보안 분석: Deep Dive ELK 활용 사례 / 엘라스틱서치 활용사례 전체 서비스 평일 평균 엘라스틱서치 클러스터로 쌓이는 전체 보안 이벤트 로그는 아래와 같은 상황이다 날짜별 Document 수는 3억2천~3억4천건 정도……
elasticsearch 성능 최적화 및 보안 위협 분석
elasticsearch 구성 IDC내 모든 중요 보안 이벤트 로그 -> arcsight -> ELK Stack (Elasticsearch +Logstah + Kibana) Data Index Rate : 평균 5400/s 평일 Event : 358,177,040 hits (GET /_cat/count/xxxx-2018.05.29?v) 일별 index 용량…
elasticsearch elktail script 활용 TIP 정리
현재 아래와 같이 구성하여 운영중 몇 가지 불편한점에 대한 개선책 구성 보안 이벤트 로그(F/W, IPS, WAF, 중요 보안장비) -> Arcsight -> ELK Stack (일일 평균 약 400G) 불편한점 1. kibana 검색 화면으로…
elasticsearch lucene Query 활용예
Elasticsearch Query Example https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl.html 1. 엘라스틱서치는 lucene 이라는 검색 엔진 오픈 소스를 내장하고 있음. 2. Lucene Query 문법 (몇 가지만 알고 있으면 누구나 쉽게 검색 가능) AND <- 그리고 OR …