home (7) 썸네일형 리스트형 [sql] data transpose (case when 절 활용) 들어가기 앞서 . . - SQL을 활용해서 데이터를 집계할 때 row(열)로 구성된 데이터를 column(행)으로 구성하여 보고싶을 때가 종종있다. - case when절을 활용해서 데이터를 집계할 때 column으로 늘어 뜨리는 부분에 대해 간단하게 정리하려 한다. Case when 절 - case when절은 프로그래밍에서 if ~ else then 구문과 유사하다고 볼 수 있다. 즉 SQL의 If구문으로 select절에서 주로 사용된다. CASE WHEN '조건1' THEN '조건1이 만족할 때 가져올 값' WHEN '조건2' THEN '조건2가 만족할 때 가져올 값' ... ELSE 모든 조건이 만족하지 않았을 때 가져올 값 END Data 예제 create table student_grade(`.. 시계열 분석, ARIMA model (Autoregressive Integrated Moving average Model) 들어가기 앞서 . . - 석사 과정 중에 공부하던 시계열 분석에 대해 기억을 더듬으며 정리할 예정이다. 시계열 분석이라는 항목이 수학적으로 정리하기 어렵고, 방법론도 다양해서, 글로 모든 내용을 정리하기 어려울 듯하다. (시계열 분석 관련 작성했던 논문 --> 논문1(학위 논문) : [링크] , 논문2(국외 논문) : [링크]) - 이번에는 파이썬을 활용하여 가볍게 ARIMA모델을 적용해 비트코인 가격을 예측해보는 내용을 가볍게 다뤄보려 한다. 시계열 데이터 분석 - 시계열 데이터란 시간에 대해 순차적으로 관측되는 데이터의 집합을 말한다. - 데이터 분석 혹은 모델링에서 독립변수(independent variable)를 이용해서 종속변수(dependent variable)을 예측하는 방법이 일반적이라면,.. [Elasticsearch, Logstash, Kibana] 슬랙에 log 알람하기 들어가기 앞서 . . - 아래 링크에서 ELK stack에 대해 구축하고 간단하게 어떤식으로 활용하는지 정리했다. - 이번에는 ELK stack내의 오픈소스 플러그인인 opendistro alerting plugin 사용법에 대해 간단하게 정리해 본다. 2021.02.23 - [Open source] - Docker compose를 활용한 Elasticsearch, Kibana, Logstash 구축 및 활용 part1 (for Mac) Docker compose를 활용한 Elasticsearch, Kibana, Logstash 구축 및 활용 part1 (for Mac) 들어가기 앞서.. - "내 맘대로 네이버 뉴스 스크래핑"[링크]의 연장선으로 스크래핑한 스케줄링하여 색인/검색할 시스템이 필요해서 El.. Docker compose를 활용한 Elasticsearch, Kibana, Logstash 구축 및 활용 part2 (for Mac) 들어가기 앞서... - 아래 링크에서 진행했던, docker compose를 활용한 ELK stack 구축에 이어서 뉴스를 스크래핑해서 색인/검색에 필요한 간단한 기능들을 활용하는 내용이다. - python을 활용해서 Elasticsearch에 색인/검색하는 법과, logstash에 로그남기고 Elasticsearch에 색인하여 Kibana를 통해 확인해 볼 예정이다. 2021/02/23 - [Open source] - Docker compose를 활용한 Elasticsearch, Kibana, Logstash 구축 및 활용 part1 (for Mac) Docker compose를 활용한 Elasticsearch, Kibana, Logstash 구축 및 활용 part1 (for Mac) 들어가기 앞서.... [Mysql, Oracle, teradata] row_number() over (partition by) 활용 들어가기 앞서 . . - 로그 데이터를 정제 및 분석 중인데, 쿼리로 다음 로그시간을 가져 온다거나, grouping, 조건을 포함해서 다음 로그시간을 가져온다거나 하는 작업을 할때 row_number() over (partition by) (teradata) 를 활용했다. 활용법을 정리하고자 하며, Mysql에서는 row_number()가 없기 때문에 따로 Oracle 및 teradata에 해당하는 구문을 나름대로 구현했다. Sample Data (Mysql 기준) CREATE TABLE `log_sample` ( `id` varchar(15) NOT NULL, /*로그의 단순한 id, 'none'이 존재*/ `logtime1` int(11) NOT NULL, /*로그의 시작 시간*/ `logtime2.. Docker compose를 활용한 Elasticsearch, Kibana, Logstash 구축 및 활용 part1 (for Mac) 들어가기 앞서.. - "내 맘대로 네이버 뉴스 스크래핑"[링크]의 연장선으로 스크래핑한 스케줄링하여 색인/검색할 시스템이 필요해서 Elasticsearch를 이용해 보기로 했다. 검색을 하던 중 보통 ELK(Elasticsearch, Logstash, Kibana : Elastic stack)라고 3가지를 동시에 구축해서 활용하는 경우가 많은 것 같아 ELK를 구축하기로 했다. 처음에는 그냥 Docker를 활용하다가, 아무래도 3가지를 동시에 유지 관리하기가 어려워, Docker-compose를 활용했다. Elastic Stack 1) Elasticsearch : Apache Lucene기반으로 텍스트, 숫자, 위치 기반 정보, 정형 및 비정형 데이터 등 모든 유형의 데이터를 위한 무료 검색 및 분석 엔.. 내 맘대로 네이버 뉴스 스크래핑 들어가기 앞서.. - Python의 BeautifulSoup 라이브러리를 활용해서 내 맘대로 내가 원하는 뉴스의 일부분을 크롤링하고, 색인/검색하는 간단한 시스템을 만들 예정이다. 사실 크롤링을 할 수 있는 방법은 너무 다양하고, 관련 라이브러리도 상당히 많다. 그리고 이 부분에 있어서 예전에도 생각했던 거지만, 최근 특정 블로그에서 공감가는 글을 읽었다. 읽어보면 좋을듯 . . (그렇다고 해답이 주어지진 않음) [링크] - 우리가 보는 웹은 html로 구성되어 있고, 해당 html을 가져와서 입 맛에 맞게 파싱하여 원하는 부분의 데이터를 가져오는 것을 웹 스크래핑, 크롤링이라고 부른다. - 아래 이미지와 같이 구글 크롬에서 네이버 뉴스 "삼성전자"라는 키워드로 검색 시에 나오는 화면에서, F12버튼을 .. 이전 1 다음
