Software Engineer English & Software Engineering Blog - Sean

■ C#

secs4net

■ Python

secsgem

documentation

Windows 11에서 ipTIME 공유기에 연결한 USB 장치를 인식하지 못할 수 있다. 이를 해결해 보자.

오픈소스 기반 데이터 분석, 딥러닝 과목들은 기출이 없으므로 기말 대비 예상 문제를 만들어 확인해 보자.

[오픈소스 기반 데이터 분석]

Version: 251215

전체 문제 구매 문의: junpd@nate.com

Pandas 사용법 간단 정리(아래 Pandas 예상 문제 소스 코드)

Version: 251204-1

[딥러닝]

Version: 251213

전체 문제 구매 문의: junpd@nate.com

Visual Studio를 사용하다 터미널(콘솔) 창을 열어야 할 경우가 있다. Window+R - cmd 명령을 실행해 작업 경로로 이동해도 되지만 Visual Studio에서 바로 작업 경로 터미널 창을 열 수 있다.

PowerShell 창에서 작업해도 되지만 원한다면 Deveoper Command Prompt로 바꿀 수 있다.

서울 열린 데이터 광장의 공공 데이터(에코 마일리지 에너지 사용량 통계 정보)를 수집하고 분석해 보자.

 주의 할 점은 Open API 사용 정보에 요청인자 목록이 자세히 적혀 있어 파이썬 requests.get(url, param) 과 같은 명령으로 데이터를 불러 올 수 있을거 같지만 제대로 실행되지 않는다. url에 필요한 모든 요청인자를 넣어서 데이터를 불러와야 한다.

1-1. Python을 사용해 2015.01~2024.12 기간의 개인 현년 전기, 가스, 수도, 지역난방 에너지 사용량 데이터를 수집해 보자.

import requests

year_months = []  # 마지막 출력에 사용하기 위해 전역변수로 선언

def get_year_months():
    for year in range(2015, 2024+1):
        for month in range(1, 12+1):
            year_months.append(f"{year}/{month:02d}")
    return year_months

start_index = 1
end_index = 7
url1 = "http://openapi.seoul.go.kr:8088/"
url2 = f"/json/energyUseDataSummaryInfo/{start_index}/{end_index}/"
api_key = "your_api_key"

count = 0
missing = 0
responses = []

for year_month in get_year_months():
    response = requests.get(url1 + api_key + url2 + year_month)
    if response.status_code == 200:
        found = False

        for i in range(end_index):
            if response.json()['energyUseDataSummaryInfo']['row'][i]['MM_TYPE'] == '개인':
                data = []
                data.append(response.json()[
                            'energyUseDataSummaryInfo']['row'][i]['EUS'])
                data.append(response.json()[
                            'energyUseDataSummaryInfo']['row'][i]['GUS'])
                data.append(response.json()[
                            'energyUseDataSummaryInfo']['row'][i]['WUS'])
                data.append(response.json()[
                            'energyUseDataSummaryInfo']['row'][i]['HUS'])

                responses.append(data)
                found = True
                count += 1
                break

        if not found:
            missing += 1
            print(
                f"\n{response.json()['energyUseDataSummaryInfo']['row'][i]['YEAR']}/{response.json()['energyUseDataSummaryInfo']['row'][i]['MON']}: No 개인 data found.")
    else:
        print(
            f"Failed to retrieve data.\nStatus code: {response.status_code}\nReason: {response.reason}")

print(f"■ Total months with 개인 data: {count}")
print(f"■ Total months without 개인 data: {missing}\n")
for ym, row in zip(year_months, responses):
    print(f"{ym}: {row}")

API로 받고 JSON으로 변환한 데이터 형태는 아래 '더보기'를 클릭하면 확인 할 수 있다.

문제와는 다르지만 Pandas를 쓰면 조금 더 간단히 필터링 할 수 있다. 아래 '더보기'를 클릭하면 확인 할 수 있다.

더보기

import requests
import pandas as pd

def get_year_months():
	year_months = []
	for year in range(2015, 2024+1):
		for month in range(1, 12+1):
			year_months.append(f"{year}/{month:02d}")
	return year_months

start_index = 1
end_index = 7
url1 = "http://openapi.seoul.go.kr:8088/"
url2 = f"/json/energyUseDataSummaryInfo/{start_index}/{end_index}/"
api_key = "your_api_key"

df = pd.DataFrame()

for year_month in get_year_months():
	response = requests.get(url1 + api_key + url2 + year_month)
	if response.status_code == 200:
		data = pd.DataFrame(response.json()['energyUseDataSummaryInfo']['row'])
		data = data[data['MM_TYPE'] == '개인']
		df = pd.concat([df, data], ignore_index=True)

	else:
		print(
			f"Failed to retrieve data.\nStatus code: {response.status_code}\nReason: {response.reason}")

df = df[['YEAR', 'MON', 'EUS', 'GUS', 'WUS', 'HUS']]
print(df)

  

2-1. 수집한 JSON 형태의 데이터를 Pandas DataFrame으로 변환하자.

import requests
import pandas as pd

def get_year_months():	
	year_months = []
	for year in range(2015, 2024+1):
		for month in range(1, 12+1):
			year_months.append(f"{year}/{month:02d}")
	return year_months

start_index = 1
end_index = 7
url1 = "http://openapi.seoul.go.kr:8088/"
url2 = f"/json/energyUseDataSummaryInfo/{start_index}/{end_index}/"
api_key = "your_api_key"

df = pd.DataFrame()

for year_month in get_year_months():
	response = requests.get(url1 + api_key + url2 + year_month)
	if response.status_code == 200:
		for i in range(end_index):
			if response.json()['energyUseDataSummaryInfo']['row'][i]['MM_TYPE'] == '개인':
				data = pd.DataFrame([response.json()['energyUseDataSummaryInfo']['row'][i]])
				df = pd.concat([df, data], ignore_index=True)
				break

	else:
		print(f"Failed to retrieve data.\nStatus code: {response.status_code}\nReason: {response.reason}")

df.info()

2-2. 연도별, 계절별 분석을 위해 계절(season) 칼럼을 추가하자.

import requests
import pandas as pd

def get_year_months():
	year_months = []
	for year in range(2015, 2024+1):
		for month in range(1, 12+1):
			year_months.append(f"{year}/{month:02d}")
	return year_months

start_index = 1
end_index = 7
url1 = "http://openapi.seoul.go.kr:8088/"
url2 = f"/json/energyUseDataSummaryInfo/{start_index}/{end_index}/"
api_key = "your_api_key"

df = pd.DataFrame()

for year_month in get_year_months():
	response = requests.get(url1 + api_key + url2 + year_month)
	if response.status_code == 200:
		for i in range(end_index):
			if response.json()['energyUseDataSummaryInfo']['row'][i]['MM_TYPE'] == '개인':
				data = pd.DataFrame(
					[response.json()['energyUseDataSummaryInfo']['row'][i]])
				df = pd.concat([df, data], ignore_index=True)
				break
	else:
		print(f"Failed to retrieve data.\nStatus code: {response.status_code}\nReason: {response.reason}")

df['SEASON'] = df['MON'].apply(lambda x: '겨울' if x in ['01', '02', '12'] else (
	'봄' if x in ['03', '04', '05'] else ('여름' if x in ['06', '07', '08'] else '가을')))

print(df)

3-1. 연도별 에너지 총사용량(전기+가스+수도+지역난방) 변화량을 선 그래프로 시각화 하자.

import requests
import pandas as pd
import matplotlib.pyplot as plt

def get_year_months():
	year_months = []
	for year in range(2015, 2024+1):
		for month in range(1, 12+1):
			year_months.append(f"{year}/{month:02d}")
	return year_months

start_index = 1
end_index = 7
url1 = "http://openapi.seoul.go.kr:8088/"
url2 = f"/json/energyUseDataSummaryInfo/{start_index}/{end_index}/"
api_key = "your_api_key"

df = pd.DataFrame()

for year_month in get_year_months():
	response = requests.get(url1 + api_key + url2 + year_month)
	if response.status_code == 200:
		for i in range(end_index):
			if response.json()['energyUseDataSummaryInfo']['row'][i]['MM_TYPE'] == '개인':
				data = pd.DataFrame(
					[response.json()['energyUseDataSummaryInfo']['row'][i]])
				df = pd.concat([df, data], ignore_index=True)
				break
	else:
		print(f"Failed to retrieve data.\nStatus code: {response.status_code}\nReason: {response.reason}")

df['SEASON'] = df['MON'].apply(lambda x: '겨울' if x in ['01', '02', '12'] else (
	'봄' if x in ['03', '04', '05'] else ('여름' if x in ['06', '07', '08'] else '가을')))

df = df.astype({'EUS': 'float', 'GUS': 'float','WUS': 'float', 'HUS': 'float'})

year_group = df.groupby('YEAR')[['EUS', 'GUS', 'WUS', 'HUS']].sum().reset_index()
year_group['에너지 총사용량'] = year_group[['EUS', 'GUS', 'WUS', 'HUS']].sum(axis=1)

plt.rc('font', family='GULIM')
plt.plot(year_group['YEAR'], year_group['에너지 총사용량'], marker='o', color='red')
plt.xlabel('연도')
plt.ylabel('에너지 사용 총액')
plt.title('연도별 에너지 사용 총액 변화')
plt.show()

3-2. 계절별 가스 사용량 평균을 막대 그래프로 시각화 하고 각 막대의 수치를 표시하자.

import requests
import pandas as pd
import matplotlib.pyplot as plt

def get_year_months():
	year_months = []
	for year in range(2015, 2024+1):
		for month in range(1, 12+1):
			year_months.append(f"{year}/{month:02d}")
	return year_months

start_index = 1
end_index = 7
url1 = "http://openapi.seoul.go.kr:8088/"
url2 = f"/json/energyUseDataSummaryInfo/{start_index}/{end_index}/"
api_key = "your_api_key"

df = pd.DataFrame()

for year_month in get_year_months():
	response = requests.get(url1 + api_key + url2 + year_month)
	if response.status_code == 200:
		for i in range(end_index):
			if response.json()['energyUseDataSummaryInfo']['row'][i]['MM_TYPE'] == '개인':
				data = pd.DataFrame(
					[response.json()['energyUseDataSummaryInfo']['row'][i]])
				df = pd.concat([df, data], ignore_index=True)
				break
	else:
		print(f"Failed to retrieve data.\nStatus code: {response.status_code}\nReason: {response.reason}")

df['SEASON'] = df['MON'].apply(lambda x: '겨울' if x in ['01', '02', '12'] else (
	'봄' if x in ['03', '04', '05'] else ('여름' if x in ['06', '07', '08'] else '가을')))

df = df.astype({'GUS': 'float'})
season_group = df.groupby('SEASON')['GUS'].mean().reset_index()

plt.rc('font', family='GULIM')
plt.bar(season_group['SEASON'], season_group['GUS'])
plt.xlabel('계절')
plt.ylabel('가스 사용량 평균')
plt.title('계절별 가스 사용량 평균')
plt.bar_label(plt.gca().containers[0])
plt.show()

4. 연도별 에너지 사용량 변화에서 나타나는 주요 트랜드를 찾아 분석하고 그 원인을 추론해 보자.

import requests
import pandas as pd
import matplotlib.pyplot as plt

def get_year_months():
	year_months = []
	for year in range(2015, 2024+1):
		for month in range(1, 12+1):
			year_months.append(f"{year}/{month:02d}")
	return year_months

start_index = 1
end_index = 7
url1 = "http://openapi.seoul.go.kr:8088/"
url2 = f"/json/energyUseDataSummaryInfo/{start_index}/{end_index}/"
api_key = "your_api_key"

df = pd.DataFrame()

for year_month in get_year_months():
	response = requests.get(url1 + api_key + url2 + year_month)
	if response.status_code == 200:
		for i in range(end_index):
			if response.json()['energyUseDataSummaryInfo']['row'][i]['MM_TYPE'] == '개인':
				data = pd.DataFrame(
					[response.json()['energyUseDataSummaryInfo']['row'][i]])
				df = pd.concat([df, data], ignore_index=True)
				break
	else:
		print(f"Failed to retrieve data.\nStatus code: {response.status_code}\nReason: {response.reason}")

df = df.astype({'EUS': 'float', 'GUS': 'float','WUS': 'float', 'HUS': 'float'})

year_group = df.groupby('YEAR')[['EUS', 'GUS', 'WUS', 'HUS']].sum().reset_index()
year_group['에너지 총사용량'] = year_group[['EUS', 'GUS', 'WUS', 'HUS']].sum(axis=1)

plt.rc('font', family='GULIM')
plt.bar(year_group['YEAR'], year_group['에너지 총사용량'], color='blue', alpha=0.5, label='총사용량')
plt.plot(year_group['YEAR'], year_group['EUS'], color='red', marker='o', label='전기')
plt.plot(year_group['YEAR'], year_group['GUS'], color='green', marker='o', label='가스')
plt.plot(year_group['YEAR'], year_group['WUS'], color='orange', marker='o', label='수도')
plt.plot(year_group['YEAR'], year_group['HUS'], color='purple', marker='o', label='난방')

plt.legend(loc='upper left')
plt.xlabel('연도')
plt.ylabel('에너지 사용량 X 1e9')
plt.ylim(0, 5000000000)

plt.grid(True, axis='y', alpha=0.5)
plt.title('연도별 에너지 사용량 변화')
plt.show()

 연도별 에너지 사용량 변화 원인을 추론하고 트렌드를 찾기 조금 더 자세한 그래프를 그려 보았다. 기후변화나 에너지 요금 등의 다양한 요인들로 인해...

이하 생략.

비주얼 스튜디오에서 코드를 자동 완성 시켜주는 기능을 사용해 보자.

※ 참고

Visual Studio IntelliCode

Visual Studio Debugging Breakpoint

Use the right type of breakpoint

Log to Output window

 PDF파일을 인쇄하다 보면 종종 몇 페이지 되지도 않는 작은 문서인데 한 페이지 인쇄에 몇 분씩 걸리는 경우가 있다.

 하루 종일 걸리는 PDF 파일 인쇄를 해결해 보자.

 이제 다시 프린트하면 빠르게 진행된다.