ELK7 [ELK] Kibana로 Data 시각화 안녕하세요 오늘의 포스팅은 이전 시간에 Import한 데이터를 Kibana를 이용하여 시각화 합니다. 2022.02.28 - [ELK] - [ELK] Logstash를 이용해 Elasticsearch csv파일 import 우선 Explorer 주소창에 'localhost:5601'를 입력해서 Kibana를 화면에 띄웁니다. 오랜만에 들어가면 아래와 같이 '0hits'로 출력이 되는데 당황하지 않고 Data 조회 일자를 import했던 날짜를 포함하게 수정합니다. (ELK는 실시간 로그를 수집하여 분석하는 경우가 많아서 기본값이 현재의 시간을 조회 하고있습니다.) Data 조회 일자가 'Today'로 설정되어 있는 모습 data를 import했던 시점으로 설정하면 정상적으로 조회되는 모습 우선 간단하게 .. 2022. 5. 23. [ELK] Logstash를 이용해 Elasticsearch csv파일 import 안녕하세요 오늘은 저번 포스팅에서 설치한 ELK를 통해 실제 분석할 데이터를 적재하여 시각화하는 Process까지 진행하도록 하겠습니다. 우선 분석할 샘플 데이터가 필요하겠습니다. 저는 '서울시 자치구별 신호등 및 횡단보도 수량'(2022년 2월 25일 기준)을 준비하겠습니다. 파일을 다운받을 수 있는 링크는 아래와 같습니다. https://data.seoul.go.kr/dataList/OA-21237/F/1/datasetView.do 열린데이터광장 메인 데이터분류,데이터검색,데이터활용 data.seoul.go.kr csv파일의 형식은 다음과 같습니다. 여기서 주의해야 할 점은 지금의 csv파일을 그대로 적재하게 된다면 첫행의 '자치구', '횡단보도 개수', '신호등 개수'도 하나의 record로 인식하.. 2022. 3. 7. [ELK] ELK 설치(Elasticsearch, Logstash, Kibana) ELK란? Logstash -> 데이터를 수집하여 변환한 후, Elasticsearch 같은 stash로 전송하는 데이터 처리 파이프라인. Elasticsearch -> 검색 및 분석 엔진. JSON 기반의 분산형 RESTFul 검색 엔진. Kibana -> Elasticsearch에서 차트와 그래프를 이용해 데이터 시각화를 가능하게 해주는 도구. ElasticSearch 설치 필자의 OS 환경 - CentOS Linux release 7.9.2009 (core) 64bit - openjdk version "1.8.0_292" ※ Elasticsearch는 최소 1.8이상의 JDK를 필요로 합니다. ( JDK 버전에 따른 호환성은 링크를 확인해주세요) - 다음의 명령어 또는 해당 홈페이지에서 설치파일을 .. 2022. 2. 11. [ELK] 개념 정리 ELK(Elasticsearch, Logstash, Kibana)의 개념을 정리합니다. 1. ELK란? Logstash -> 데이터를 수집하여 변환한 후, Elasticsearch 같은 stash로 전송하는 데이터 처리 파이프라인. Elasticsearch -> 검색 및 분석 엔진. JSON 기반의 분산형 RESTFul 검색 엔진. Kibana -> Elasticsearch에서 차트와 그래프를 이용해 데이터 시각화를 가능하게 해주는 도구. 2. Elastic Stack란? 기존의 ELK 스택 + Beat => Elastic Stack 분산 환경 지원으로 여러곳의 데이터 소스로부터 동시에 데이터 수집 가능 Beats란? 단일 목적의 데이터 수집기 플랫폼으로 수백 수천개의 장비와 시스템으로부터 Logstas.. 2022. 1. 4. 이전 1 2 다음
