Software Engineer English & Software Engineering Blog - Sean

서울 열린 데이터 광장의 공공 데이터(에코 마일리지 에너지 사용량 통계 정보)를 수집하고 분석해 보자.

 주의 할 점은 Open API 사용 정보에 요청인자 목록이 자세히 적혀 있어 파이썬 requests.get(url, param) 과 같은 명령으로 데이터를 불러 올 수 있을거 같지만 제대로 실행되지 않는다. url에 필요한 모든 요청인자를 넣어서 데이터를 불러와야 한다.

1-1. Python을 사용해 2015.01~2024.12 기간의 개인 현년 전기, 가스, 수도, 지역난방 에너지 사용량 데이터를 수집해 보자.

import requests

year_months = []  # 마지막 출력에 사용하기 위해 전역변수로 선언

def get_year_months():
    for year in range(2015, 2024+1):
        for month in range(1, 12+1):
            year_months.append(f"{year}/{month:02d}")
    return year_months

start_index = 1
end_index = 7
url1 = "http://openapi.seoul.go.kr:8088/"
url2 = f"/json/energyUseDataSummaryInfo/{start_index}/{end_index}/"
api_key = "your_api_key"

count = 0
missing = 0
responses = []

for year_month in get_year_months():
    response = requests.get(url1 + api_key + url2 + year_month)
    if response.status_code == 200:
        found = False

        for i in range(end_index):
            if response.json()['energyUseDataSummaryInfo']['row'][i]['MM_TYPE'] == '개인':
                data = []
                data.append(response.json()[
                            'energyUseDataSummaryInfo']['row'][i]['EUS'])
                data.append(response.json()[
                            'energyUseDataSummaryInfo']['row'][i]['GUS'])
                data.append(response.json()[
                            'energyUseDataSummaryInfo']['row'][i]['WUS'])
                data.append(response.json()[
                            'energyUseDataSummaryInfo']['row'][i]['HUS'])

                responses.append(data)
                found = True
                count += 1
                break

        if not found:
            missing += 1
            print(
                f"\n{response.json()['energyUseDataSummaryInfo']['row'][i]['YEAR']}/{response.json()['energyUseDataSummaryInfo']['row'][i]['MON']}: No 개인 data found.")
    else:
        print(
            f"Failed to retrieve data.\nStatus code: {response.status_code}\nReason: {response.reason}")

print(f"■ Total months with 개인 data: {count}")
print(f"■ Total months without 개인 data: {missing}\n")
for ym, row in zip(year_months, responses):
    print(f"{ym}: {row}")

API로 받고 JSON으로 변환한 데이터 형태는 아래 '더보기'를 클릭하면 확인 할 수 있다.

문제와는 다르지만 Pandas를 쓰면 조금 더 간단히 필터링 할 수 있다. 아래 '더보기'를 클릭하면 확인 할 수 있다.

더보기

import requests
import pandas as pd

def get_year_months():
	year_months = []
	for year in range(2015, 2024+1):
		for month in range(1, 12+1):
			year_months.append(f"{year}/{month:02d}")
	return year_months

start_index = 1
end_index = 7
url1 = "http://openapi.seoul.go.kr:8088/"
url2 = f"/json/energyUseDataSummaryInfo/{start_index}/{end_index}/"
api_key = "your_api_key"

df = pd.DataFrame()

for year_month in get_year_months():
	response = requests.get(url1 + api_key + url2 + year_month)
	if response.status_code == 200:
		data = pd.DataFrame(response.json()['energyUseDataSummaryInfo']['row'])
		data = data[data['MM_TYPE'] == '개인']
		df = pd.concat([df, data], ignore_index=True)

	else:
		print(
			f"Failed to retrieve data.\nStatus code: {response.status_code}\nReason: {response.reason}")

df = df[['YEAR', 'MON', 'EUS', 'GUS', 'WUS', 'HUS']]
print(df)

  

2-1. 수집한 JSON 형태의 데이터를 Pandas DataFrame으로 변환하자.

import requests
import pandas as pd

def get_year_months():	
	year_months = []
	for year in range(2015, 2024+1):
		for month in range(1, 12+1):
			year_months.append(f"{year}/{month:02d}")
	return year_months

start_index = 1
end_index = 7
url1 = "http://openapi.seoul.go.kr:8088/"
url2 = f"/json/energyUseDataSummaryInfo/{start_index}/{end_index}/"
api_key = "your_api_key"

df = pd.DataFrame()

for year_month in get_year_months():
	response = requests.get(url1 + api_key + url2 + year_month)
	if response.status_code == 200:
		for i in range(end_index):
			if response.json()['energyUseDataSummaryInfo']['row'][i]['MM_TYPE'] == '개인':
				data = pd.DataFrame([response.json()['energyUseDataSummaryInfo']['row'][i]])
				df = pd.concat([df, data], ignore_index=True)
				break

	else:
		print(f"Failed to retrieve data.\nStatus code: {response.status_code}\nReason: {response.reason}")

df.info()

2-2. 연도별, 계절별 분석을 위해 계절(season) 칼럼을 추가하자.

import requests
import pandas as pd

def get_year_months():
	year_months = []
	for year in range(2015, 2024+1):
		for month in range(1, 12+1):
			year_months.append(f"{year}/{month:02d}")
	return year_months

start_index = 1
end_index = 7
url1 = "http://openapi.seoul.go.kr:8088/"
url2 = f"/json/energyUseDataSummaryInfo/{start_index}/{end_index}/"
api_key = "your_api_key"

df = pd.DataFrame()

for year_month in get_year_months():
	response = requests.get(url1 + api_key + url2 + year_month)
	if response.status_code == 200:
		for i in range(end_index):
			if response.json()['energyUseDataSummaryInfo']['row'][i]['MM_TYPE'] == '개인':
				data = pd.DataFrame(
					[response.json()['energyUseDataSummaryInfo']['row'][i]])
				df = pd.concat([df, data], ignore_index=True)
				break
	else:
		print(f"Failed to retrieve data.\nStatus code: {response.status_code}\nReason: {response.reason}")

df['SEASON'] = df['MON'].apply(lambda x: '겨울' if x in ['01', '02', '12'] else (
	'봄' if x in ['03', '04', '05'] else ('여름' if x in ['06', '07', '08'] else '가을')))

print(df)

3-1. 연도별 에너지 총사용량(전기+가스+수도+지역난방) 변화량을 선 그래프로 시각화 하자.

import requests
import pandas as pd
import matplotlib.pyplot as plt

def get_year_months():
	year_months = []
	for year in range(2015, 2024+1):
		for month in range(1, 12+1):
			year_months.append(f"{year}/{month:02d}")
	return year_months

start_index = 1
end_index = 7
url1 = "http://openapi.seoul.go.kr:8088/"
url2 = f"/json/energyUseDataSummaryInfo/{start_index}/{end_index}/"
api_key = "your_api_key"

df = pd.DataFrame()

for year_month in get_year_months():
	response = requests.get(url1 + api_key + url2 + year_month)
	if response.status_code == 200:
		for i in range(end_index):
			if response.json()['energyUseDataSummaryInfo']['row'][i]['MM_TYPE'] == '개인':
				data = pd.DataFrame(
					[response.json()['energyUseDataSummaryInfo']['row'][i]])
				df = pd.concat([df, data], ignore_index=True)
				break
	else:
		print(f"Failed to retrieve data.\nStatus code: {response.status_code}\nReason: {response.reason}")

df['SEASON'] = df['MON'].apply(lambda x: '겨울' if x in ['01', '02', '12'] else (
	'봄' if x in ['03', '04', '05'] else ('여름' if x in ['06', '07', '08'] else '가을')))

df = df.astype({'EUS': 'float', 'GUS': 'float','WUS': 'float', 'HUS': 'float'})

year_group = df.groupby('YEAR')[['EUS', 'GUS', 'WUS', 'HUS']].sum().reset_index()
year_group['에너지 총사용량'] = year_group[['EUS', 'GUS', 'WUS', 'HUS']].sum(axis=1)

plt.rc('font', family='GULIM')
plt.plot(year_group['YEAR'], year_group['에너지 총사용량'], marker='o', color='red')
plt.xlabel('연도')
plt.ylabel('에너지 사용 총액')
plt.title('연도별 에너지 사용 총액 변화')
plt.show()

3-2. 계절별 가스 사용량 평균을 막대 그래프로 시각화 하고 각 막대의 수치를 표시하자.

import requests
import pandas as pd
import matplotlib.pyplot as plt

def get_year_months():
	year_months = []
	for year in range(2015, 2024+1):
		for month in range(1, 12+1):
			year_months.append(f"{year}/{month:02d}")
	return year_months

start_index = 1
end_index = 7
url1 = "http://openapi.seoul.go.kr:8088/"
url2 = f"/json/energyUseDataSummaryInfo/{start_index}/{end_index}/"
api_key = "your_api_key"

df = pd.DataFrame()

for year_month in get_year_months():
	response = requests.get(url1 + api_key + url2 + year_month)
	if response.status_code == 200:
		for i in range(end_index):
			if response.json()['energyUseDataSummaryInfo']['row'][i]['MM_TYPE'] == '개인':
				data = pd.DataFrame(
					[response.json()['energyUseDataSummaryInfo']['row'][i]])
				df = pd.concat([df, data], ignore_index=True)
				break
	else:
		print(f"Failed to retrieve data.\nStatus code: {response.status_code}\nReason: {response.reason}")

df['SEASON'] = df['MON'].apply(lambda x: '겨울' if x in ['01', '02', '12'] else (
	'봄' if x in ['03', '04', '05'] else ('여름' if x in ['06', '07', '08'] else '가을')))

df = df.astype({'GUS': 'float'})
season_group = df.groupby('SEASON')['GUS'].mean().reset_index()

plt.rc('font', family='GULIM')
plt.bar(season_group['SEASON'], season_group['GUS'])
plt.xlabel('계절')
plt.ylabel('가스 사용량 평균')
plt.title('계절별 가스 사용량 평균')
plt.bar_label(plt.gca().containers[0])
plt.show()

4. 연도별 에너지 사용량 변화에서 나타나는 주요 트랜드를 찾아 분석하고 그 원인을 추론해 보자.

import requests
import pandas as pd
import matplotlib.pyplot as plt

def get_year_months():
	year_months = []
	for year in range(2015, 2024+1):
		for month in range(1, 12+1):
			year_months.append(f"{year}/{month:02d}")
	return year_months

start_index = 1
end_index = 7
url1 = "http://openapi.seoul.go.kr:8088/"
url2 = f"/json/energyUseDataSummaryInfo/{start_index}/{end_index}/"
api_key = "your_api_key"

df = pd.DataFrame()

for year_month in get_year_months():
	response = requests.get(url1 + api_key + url2 + year_month)
	if response.status_code == 200:
		for i in range(end_index):
			if response.json()['energyUseDataSummaryInfo']['row'][i]['MM_TYPE'] == '개인':
				data = pd.DataFrame(
					[response.json()['energyUseDataSummaryInfo']['row'][i]])
				df = pd.concat([df, data], ignore_index=True)
				break
	else:
		print(f"Failed to retrieve data.\nStatus code: {response.status_code}\nReason: {response.reason}")

df = df.astype({'EUS': 'float', 'GUS': 'float','WUS': 'float', 'HUS': 'float'})

year_group = df.groupby('YEAR')[['EUS', 'GUS', 'WUS', 'HUS']].sum().reset_index()
year_group['에너지 총사용량'] = year_group[['EUS', 'GUS', 'WUS', 'HUS']].sum(axis=1)

plt.rc('font', family='GULIM')
plt.bar(year_group['YEAR'], year_group['에너지 총사용량'], color='blue', alpha=0.5, label='총사용량')
plt.plot(year_group['YEAR'], year_group['EUS'], color='red', marker='o', label='전기')
plt.plot(year_group['YEAR'], year_group['GUS'], color='green', marker='o', label='가스')
plt.plot(year_group['YEAR'], year_group['WUS'], color='orange', marker='o', label='수도')
plt.plot(year_group['YEAR'], year_group['HUS'], color='purple', marker='o', label='난방')

plt.legend(loc='upper left')
plt.xlabel('연도')
plt.ylabel('에너지 사용량 X 1e9')
plt.ylim(0, 5000000000)

plt.grid(True, axis='y', alpha=0.5)
plt.title('연도별 에너지 사용량 변화')
plt.show()

 연도별 에너지 사용량 변화 원인을 추론하고 트렌드를 찾기 조금 더 자세한 그래프를 그려 보았다. 기후변화나 에너지 요금 등의 다양한 요인들로 인해...

이하 생략.

비주얼 스튜디오에서 코드를 자동 완성 시켜주는 기능을 사용해 보자.

※ 참고

Visual Studio IntelliCode

Visual Studio Debugging Breakpoint

Use the right type of breakpoint

Log to Output window

 PDF파일을 인쇄하다 보면 종종 몇 페이지 되지도 않는 작은 문서인데 한 페이지 인쇄에 몇 분씩 걸리는 경우가 있다.

 하루 종일 걸리는 PDF 파일 인쇄를 해결해 보자.

 이제 다시 프린트하면 빠르게 진행된다.

GIMP를 이용해 투명 배경을 만들어 보자.

투명 배경이 필요한 그림을 준비한다.

픽셀 이미지(JPG, PNG)를 벡터(AI) 이미지로 바꿔보자.

MAME 화면을 칵테일 모드로 바꿔보자.

한텍 오실로스코프 2D42의 배터리를 교환해 보자.