본문 바로가기

분류 전체보기61

[ELK] 개념 정리 ELK(Elasticsearch, Logstash, Kibana)의 개념을 정리합니다. 1. ELK란? Logstash -> 데이터를 수집하여 변환한 후, Elasticsearch 같은 stash로 전송하는 데이터 처리 파이프라인. Elasticsearch -> 검색 및 분석 엔진. JSON 기반의 분산형 RESTFul 검색 엔진. Kibana -> Elasticsearch에서 차트와 그래프를 이용해 데이터 시각화를 가능하게 해주는 도구. 2. Elastic Stack란? 기존의 ELK 스택 + Beat => Elastic Stack 분산 환경 지원으로 여러곳의 데이터 소스로부터 동시에 데이터 수집 가능 Beats란? 단일 목적의 데이터 수집기 플랫폼으로 수백 수천개의 장비와 시스템으로부터 Logstas.. 2022. 1. 4.
[Jsoup] 웹 크롤링으로 원하는 값 추출하기 Toy프로젝트를 진행하며 웹사이트의 원하는 데이터를 가져와야 했습니다. 이번 포스팅은 Jsoup을 사용하며 웹페이지를 크롤링한 방법을 공유합니다. Jsoup? Selenium? Jsoup - 정적인 자료를 수집하는 경우에 주로 사용합니다. - 정적 데이터를 비교적 빠르게 수집할 수 있지만 브라우저가 아닌 HTTP Request를 사용하기 때문에 동적 데이터를 수집하기 위해서는 해당 서버의 인증키 요구 등 수집할 수 없는 경우가 많다. - 또한 동적인 기능을 지원하지 않는 경우가 많다. Selenium - 빅데이터 관련, 동적인 자료를 수집할 때 주로 사용한다. - Jsoup에 비해 속도는 느리지만 브라우저 드라이버를 사용하여 동적 데이터도 수집 가능하다. [개인 의견] 아직 Selenium을 사용해보지 .. 2021. 12. 28.
[ELK] 설치 3) Kibana ELK 설치의 마지막 'Kibana'입니다. 호다닥 끝내겠습니다 :) Kibana란? - Elasticsearch, Logstash로 수집된 데이터를 시각화 하는 '일종의 데이터 시각화 툴'입니다. Kibana 설치 직접 홈페이지에서 설치하거나, wget 명령어를 통해 설치 설치파일 다운로드 가능 다운로드 받은 rpm 파일을 설치 합니다. 설치가 완료되면 yml파일을 통해 포트를 수정합니다! server.port, server.host, elasticsearch.url 세 개의 항목을 다음과 같이 설정합니다. (※ 만일 외부에서 해당 서버 kibana에 접속이 필요한 경우 server.host를 0.0.0.0으로 설정해주세요) 전반적인 설정은 완료했습니다. 다음으로 방화벽을 오픈합니다. 방화벽까지 오픈했.. 2021. 12. 23.
[ELK] 설치 2) Logstash Logstash란? - 다양한 소스로부터 데이터를 수집하고 곧바로 전환하여 원하는 대상에 전송할 수 있도록 하는 경량의 오픈 소스 서버측 데이터 처리 파이프라인 Logstash 설치 logstash tar 설치파일 다운로드 압축해제 logstash또한 압축해제 만으로 설치가 완료 됐습니다. Logstash 테스트 압축해제한 파일 내의 logstash/bin 디렉토리로 이동하여 아래와 같이 명령을 실행합니다. - ./logstash -e 'input { stdin { } } output { stdout {} }' input { stdin { } } output { stdout {} } 의 뜻은 입력한대로 출력한다는 것입니다. 나중에는 tcp 통신을 통해 입력도 받고 필터를 사용하여 입력받은 데이터를 파싱하.. 2021. 12. 23.

티스토리툴바