[elasticsearch] kibana를 활용하여 서울시 공공데이터 시각화하기

kibana를 활용하여 서울시 공공데이터 시각화

---

✅ 사용할 공공데이터

https://data.seoul.go.kr/dataList/OA-20883/S/1/datasetView.do

열린데이터광장 메인

해당 공공데이터의 Open API를 활용한다.

인증키를 발급받는다.

 

✅ 파이썬을 이용한 Open API 실행

requests 모듈 설치

sudo apt install python3-pip
pip install requests

 

bulk API를 활용하는 파이썬 파일 작성

import urllib.request
from xml.etree.ElementTree import fromstring, ElementTree
from elasticsearch import Elasticsearch, helpers
es = Elasticsearch()
docs = []
for i in range (1, 21):
	  iStart = (i-l)*1000 + 1
		iEnd = i*1000
		url = 'http://openapi.seoul.go.kr: 8088/(((인증키)))/xml/TbPublicWifiInfo/'+str(iStart)+'/'+str(iEnd)+'/'
		response = urllib.request.urlopen(url)
		xml_str = response.read().decode('utf-8')
		tree = ElementTree(fromstring(xml_str))
		root = tree.getroot()
				for row in root.iter("row"):
				gu_nm = row.find('X_SWIFI_WRDOFC').text
				place_nm = row.find('X_SWIFI_MAIN_NM').text
				place_x = float(row.find('LAT').text)
				place_y = float(row. find(' LNT'). text)
				doc = {
					".index": "seoulwifi2",
					"_source": {
					"gu_nm": gu_nm,
					"place_nm": place_nm,
					"instl_xy": {
					"lat": piace_x,
					"lon": place_y
				} 
		}
}
docs.append(doc)
print("END", iStart, "~"，iEnd)
res = helpers.bulk(es, docs)
print("END")

본인의 인증키를 url에 넣어서 작성한다.

 

✅ 파이썬에 elasticsearch client 설치

pip install elasticsearch

 

✅  한글 분석기, 위경도 데이터 타입 이용하기 위한 인덱스 매핑

sudo /usr/share/elasticsearch/bin/elasticsearch-plugin install analysis-nori
sudo systemctl restart elasticsearch

nori 설치 및 es 재실행

 

✅  elastic에서 미리 인덱스를 생성

PUT seoulwifi2
{
  "settings": {
    "analysis": {
      "analyzer": {
        "korean":{
          "tokenizer": "nori_tokenizer"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "gu_nm": {"type": "keyword"},
      "place_nm": {"type": "text", "analyzer": "korean"},
      "instl_xy": {"type": "geo_point"}
    }
  }
}

 

✅  인덱스 패턴 생성

elastic - Stack Manager -  Index Patterns - Create New Pattern

seoulwifi* 로 인덱스 패턴 생성

 

✅  Dev tools 서 GET으로 확인

개수가 좀 부족하다....

✅  시각화

elastic - Visualize Library - Create visualize - Explore options - Coordinate Map

 

생성한 인덱스 패턴을 활용하여 생성

 

시각화는 된다....