Software Engineer English & Software Engineering Blog - Sean

Kiwipiepy를 이용해 한국어 형태소를 분석해 보자.

from kiwipiepy import Kiwi

kiwi = Kiwi()
kiwi.add_user_word("AI", "NNP")  # 사용자 단어 추가 예시

text = "안녕하세요. 저는 AI 언어 모델입니다."
result = kiwi.analyze(text)

# 출력 형태 확인
print(result)

print("-" * 30)

# 형태소와 품사 출력
for word in result[0][0]:
	print(f"{word.form}\t{word.tag}")

print("-" * 30)

# 명사만 출력
print("명사만 출력:")
for word in result[0][0]:
	if word.tag.startswith('N'):
		print(f"{word.form}\t{word.tag}")

nouns = [word.form for word in result[0][0] if word.tag.startswith('N')]
print("명사 리스트:", nouns)

print("-" * 30)

# 동사만 출력
print("동사만 출력:")
for word in result[0][0]:
	if word.tag.startswith('V'):
		print(f"{word.form}\t{word.tag}")

verbs = [word.form for word in result[0][0] if word.tag.startswith('V')]
print("동사 리스트:", verbs)

이번엔 간단한 Word Cloud 예제를 살펴보자.

from wordcloud import WordCloud
import matplotlib.pyplot as plt

text = "인공지능은 현대 기술의 핵심입니다.\
인공지능은 다양한 분야에서 활용되고 있으며,\
우리의 삶을 변화시키고 있습니다. 인공지능\
기술은 빠르게 발전하고 있으며, 미래에는 더욱\
중요한 역할을 할 것입니다."

# 워드클라우드 생성
wordcloud = WordCloud(font_path='malgun.ttf',\
width=640, height=480, max_words=100,\
background_color='white', colormap='hsv')\
.generate(text)

# 워드클라우드 시각화
plt.figure(figsize=(10, 5))
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis('off')
plt.show()

마지막으로 긴 텍스트에서 형태소 분석기를 이용해 명사를 추출하고 최다 빈도 명사 10개로 워드 클라우드를 생성해 보자.

from kiwipiepy import Kiwi
from wordcloud import WordCloud
from collections import Counter
import matplotlib.pyplot as plt

kiwi = Kiwi()

text = "《시간의 역사》(A Brief History of Time)는 스티븐 호킹에 의해 쓰여진 저명한 과학책으로\
1988년 벤탐 델 출판사에 의해 출판된 책이다. 이 책은 베스트셀러로 천 만 부 이상이 팔렸으며, 또한\
런던 선데이 타임즈에 베스트셀러로 4년 이상 랭크되었다. <시간의 역사>는 갈릴레이, 뉴턴, 아인슈타인\
등의 과거 과학자들의 우주에 대한 연구 내용을 핵심적으로 짚어주고, 우주가 대폭발에서 시작했다는\
빅뱅 이론, 블랙홀과 특이점에 대한 내용, 우주의 역사를 통해 우주의 미래와 종말을 전망한다. 이 책을\
통해 '시간'이라는 개념에 대해서도 새로운 인식을 하게 만들었다. 지구에서만 적용되는 물리적인 법칙이\
깨지거나 변화하는 우주 다른 공간에서는 우리가 쓰는 '시간'의 의미가 완전히 달라짐을 말해준다."
result = kiwi.analyze(text)

# 명사만 출력
# print("명사만 출력:")
# for word in result[0][0]:
# 	if word.tag.startswith('N'):
# 		print(f"{word.form} : {word.tag}")

# 명사 리스트 생성
nouns = [word.form for word in result[0][0] if word.tag.startswith('N')]
print("■ 명사 리스트:", nouns)

# 명사 빈도수 10위까지 출력
counts = Counter(nouns)
print("\n■ 명사 빈도수:", counts.most_common(10))

# 명사 워드 클라우드 생성
wordcloud = WordCloud(font_path='malgun.ttf', width=640, height=480, max_words=100,\
   background_color='white', colormap='hsv').generate_from_frequencies(counts)

# 워드 클라우드 시각화
plt.figure(figsize=(10, 5))
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis('off')
plt.show()

파이썬 콘솔 환경에서 예쁘게 빛나는 크리스마스 트리를 만들어 보자.

import time
import random
import os

# Clear the console based on the operating system
os.system('cls' if os.name == 'nt' else 'clear')

# Define color codes
# '\033[0m': text and background colors reset
color_format = ['\033[31m', '\033[32m', '\033[33m','\033[34m', '\033[35m','\033[36m', '\033[37m', '\033[0m']

tree = [
    "      *      ",
    "     ***     ",
    "    *****    ",
    "   *******   ",
    "  *********  ",
    " *********** ",
    "*************",
    "      |      ",
    "      |      "
]

while True:
    time.sleep(0.5)    
    for line in tree:
        colored_line = ''.join(f"{random.choice(color_format)}{char}" if char == '*' \
                               else f"{color_format[-1]}{char}" for char in line)
        print(colored_line)
    print("\033[F" * 9, end='')  # Move cursor up nine lines

컬러 포멧으로 딕셔너리를 사용한 예는 아래 더보기를 클릭하자.

더보기

아래 코드도 같은 결과를 보여준다.

 

import time
import random
import os

# Clear the console based on the operating system
os.system('cls' if os.name == 'nt' else 'clear')

# Define color codes
color_format = {
    'RED': '\033[31m',
    'GREEN': '\033[32m',
    'YELLOW': '\033[33m',
    'BLUE': '\033[34m',
    'MAGENTA': '\033[35m',
    'CYAN': '\033[36m',
    'WHITE': '\033[37m',
    'RESET': '\033[0m'
}

tree = [
    "      *      ",
    "     ***     ",
    "    *****    ",
    "   *******   ",
    "  *********  ",
    " *********** ",
    "*************",
    "      |      ",
    "      |      "
]

print('{RED}Merry {BLUE}Christmas!!'.format(**color_format))
print(f"{color_format[random.choice(list(color_format.keys()))]}Happy New Year!!{color_format['RESET']}")

while True:
    time.sleep(0.5)
    for line in tree:
        colored_line = ''.join(f"{random.choice(list(color_format.values()))}{char}" if char == '*' \
                               else f"{color_format['RESET']}{char}" for char in line)
        print(colored_line)
    print("\033[F" * 9, end='')  # Move cursor up nine lines

 

바이너리 파일을 읽고 유니코드 문자열을 찾아 수정해 보자.

이 파일의 내용을 읽고 수정해 보자.

import binascii

with open("Procmon64.exe", "rb") as f:
	f.seek(0xf9560) # 파일 포인터 이동
	data = f.read(10)
	print(f"Bytes: {data}")
	print(f"Hex: {binascii.b2a_hex(data).decode().upper()}")
	print(f"Unicode: {binascii.unhexlify(binascii.b2a_hex(data)).decode(encoding='utf-16', errors='ignore')}")
	print("File Pointer Position: " + hex(f.tell()).upper())  # 현재 파일 포인터 위치 출력

0xF9560위치에서 10바이트를 읽고 출력해 보자.

import binascii

with open("Procmon64.exe", "r+b") as f:
    f.seek(0xf9560) # 파일 포인터 이동
    pattern = "QrocM".encode(encoding="utf-16le").hex()
    f.write(bytes.fromhex(pattern))	

    f.seek(-10, 1)  # 현재 위치(1)에서 10바이트 앞으로 이동
    data = f.read(10)
    print(f"Bytes: {data}")
    print(f"Hex: {binascii.b2a_hex(data).decode().upper()}")
    print(f"Unicode: {binascii.unhexlify(binascii.b2a_hex(data)).decode(encoding='utf-16', errors='ignore')}")

'ProcM'을 'QrocM'으로 바꿔보자.

import binascii

file_name = "Procmon64.exe"
pattern = "ProcM"
byte_sequence = pattern.encode(encoding="utf-16le")

def find_all_bytes(file_name, byte_sequence):
    with open(file_name, 'rb') as f:
        file_content = f.read()  # 파일 전체를 바이트열로 읽어옵니다.

    occurrences = []
    start_index = 0
    while True:
        try:
            # find() 메서드는 일치하는 위치의 인덱스를 반환합니다.
            index = file_content.find(byte_sequence, start_index)
            if index == -1:
                break  # 더 이상 일치하는 패턴이 없으면 루프를 종료합니다.
            occurrences.append(hex(index).upper())
            start_index = index + len(byte_sequence)  # 다음 검색 시작 위치를 갱신합니다.
        except ValueError:
            break

    return occurrences

positions = find_all_bytes(file_name, byte_sequence)

print(f"문자열 {pattern}({byte_sequence.hex().upper()})이(가) 발견된 위치:")
for idx, pos in enumerate(positions):
    print(f"{idx+1}. 오프셋 [{pos}]에서 발견됨.")

파일 전체에서 'ProcM' 문자열을 찾아보자.

import re

text = "The rain in Spain stays mainly in the plain.".encode(encoding="utf-16le")
print(f"UTF-16 Text: {text}")

matches = re.findall("ain".encode(encoding="utf-16le"), text)  # 대소문자 구분
print(matches)

matches = re.findall("Ain".encode(encoding="utf-16le"), text, re.IGNORECASE)  # 대소문자 무시
print(matches)

'PROCM', 'procm', 'Procm' 등 대소문자 구분없이 모든 문자열을 찾기 위해 파이썬 정규식 표현을 살펴보자.

import re

text = "The rain in Spain stays mainly in the plain.".encode(encoding="utf-16le")
pattern = "Ain".encode(encoding="utf-16le")
print(f"UTF-16 Text: {text}")
print(f"UTF-16 Pattern: {pattern}")

for idx, match in enumerate(re.finditer(pattern, text, re.IGNORECASE)):
    print(f"{idx+1}. {match.group()} found at byte offset: {match.start()}")

이번엔 finditer()로 문자열의 위치까지 정확히 찾아보자.

import binascii
import re

file_name = "Procmon64.exe"
pattern = "ProcM"
byte_sequence = pattern.encode(encoding="utf-16le")

with open(file_name, 'rb') as f:
    file_content = f.read()
    print(f"Searching for pattern: {pattern}")

    # Find all occurrences of the byte sequence in the file content
    for idx, match in enumerate(re.finditer(byte_sequence, file_content, re.IGNORECASE)):
        print(f"{idx+1:2}. {binascii.unhexlify(binascii.b2a_hex(match.group())).decode(encoding='utf-16', errors='ignore')} \
        found at byte offset: {hex(match.start()).upper()}")

위 결과를 바탕으로 'ProcM' 문자열을 대소문자 구분 없이 찾아보자.

import binascii
import re

def replace_pattern_in_file(file_name, pattern, replacement):
    byte_sequence = pattern.encode(encoding="utf-16le")
    with open(file_name, 'r+b') as f:
        file_content = f.read()
        print(f"Searching for pattern: {pattern}")

        # Find all occurrences of the byte sequence in the file content
        # Case-sensitive search
        for idx, match in enumerate(re.finditer(byte_sequence, file_content)):
            print(f"{idx+1:2}. {binascii.unhexlify(binascii.b2a_hex(match.group())).decode(encoding='utf-16', errors='ignore')} found at byte offset: {hex(match.start()).upper()}")
            
            f.seek(match.start())
            f.write(replacement.encode(encoding="utf-16le"))
            print(f"   => Replaced with: {replacement} at byte offset: {hex(match.start()).upper()}")

file_name = "Procmon64.exe"
pattern = "ProcM"

replace_pattern_in_file(file_name, pattern, "Q")

파일에서 대소문자를 구분해 문자열을 모두 찾아 바꾸는 함수를 작성했다.

함수에 파일 이름, 찾을 문자열, 바꿀 문자열을 인자로 주고 실행한다.

파이썬에서 윈도우 뮤텍스를 사용해 보자.

아래 링크에서 namedmutex.py를 다운받고 파이썬 프로젝트에 포함시킨다.

namedmutex

위 파이썬 프로그램, C# 프로그램 중 중복을 포함하여 아무거나 두 개(두 번) 실행시켜 보면 MyMutex의 상황에 따라 실행 가능 여부를 확인 할 수 있다.

이번엔 뮤텍스를 사용해 프로그램의 중복 실행을 방지하는 코드를 살펴보자.

위 프로그램을 실행한 상태에서 또  실행하면 두 번째 실행한 프로그램은 메세지가 출력되고 종료된다.

C와 Python 프로그램간 이미지 데이터를 공유해 보자.

1) 파이썬 프로그램 데이터를 C 프로그램에 공유

mmap

2) C 프로그램 데이터를 파이썬 프로그램에 공유

결과는 같다.

※ 참고

2025.02.16 - [OpenCV] - C# and Python OpenCV Image Data Share (Memory Mapped File)

C#과 Python 프로그램간 이미지 데이터를 공유해 보자.

1) Python 프로그램 데이터를 C# 프로그램에 공유.

mmap

2) C# 프로그램 데이터를 Python 프로그램에 공유.

결과는 같다.

※ 참고

2025.02.23 - [OpenCV] - C and Python OpenCV Image Data Share (Memory Mapped File)

PyQt를 이용해 OpenCV 이미지를 출력해 보자.

소스를 입력하고 실행한다.

이번엔 GraphicsView를 사용해 보자. 위 소스에서 1번이나 2번 주석을 해제한다.

1, 2번 주석부분의 소스는 이미지 크기를 조절하지 않는다.

소스를 입력하고 실행한다.

C#에서 파이썬 스크립트를 실행해 보자.

우선 위와 같은 파이썬 스크립트(script.py)를 하나 작성하고 저장한다

C# 코드를 작성하고 빌드한다.

파이썬 스크립트를 가상환경에서 실행해야 하거나 복잡한 명령을 차례대로 실행해야 하는 경우 위 코드처럼 cmd를 먼저 실행하고 다른 명령을 순서대로 실행한다.