“데이터 사이언스는 흥미로운 학문이다.”

[‘데이터’, ‘사이언스는’, ‘흥미로운’, ‘학문이다’]

# 의존성 패키지 설치
pip install nltk

import nltk

# 최초 한 번만 실행하면 되는 부분 입니다.
#   NLTK 데이터 다운로드
#   이후 실행 시 download()는 불필요합니다.

# nltk.download('punkt')       # 토큰화용 데이터
# nltk.download('punkt_tab')   # 탭 구분 토큰화용 데이터
# nltk.download('stopwords')   # 불용어 리스트
# nltk.download('wordnet')     # 표제어 추출용 데이터

text = "Data Science is an exciting field."
tokens = nltk.word_tokenize(text)

print(tokens)

['Data', 'Science', 'is', 'an', 'exciting', 'field', '.']

pip install konlpy

from konlpy.tag import Okt

okt = Okt()

text = "데이터 사이언스는 정말 흥미로운 학문이다."

# 단어 단위(토큰)로 분리
tokens = okt.morphs(text)
print("토큰:", tokens)

# 품사 태깅(Pos tagging)
pos_tags = okt.pos(text)
print("품사 태깅:", pos_tags)

# 명사만 추출
nouns = okt.nouns(text)
print("명사:", nouns)

토큰: ['데이터', '사이언스', '는', '정말', '흥미로운', '학문', '이다', '.']
품사 태깅: [('데이터', 'Noun'), ('사이언스', 'Noun'), ('는', 'Josa'), ('정말', 'Adverb'), ('흥미로운', 'Adjective'), ('학문', 'Noun'), ('이다', 'Josa'), ('.', 'Punctuation')]
명사: ['데이터', '사이언스', '학문']

“Data”, “data.”, “DATA!”, “data?”
이 네 단어는 사람이 보기엔 모두 ‘data’를 의미하지만,
컴퓨터는 각각 다른 단어로 처리한다.

import re  # re는 Regular Expression(정규표현식) 모듈이다.

text = "Data-Science!! is, Exciting???  "

# 1️⃣ 모든 문자를 소문자로 변환
text = text.lower()

# 2️⃣ 알파벳과 공백만 남기기
# [^a-z\\s] → 알파벳(a~z)과 공백(\\s)을 제외한 나머지를 모두 찾아 공백으로 치환
text = re.sub(r'[^a-z\s]', ' ', text)

# 3️⃣ 여러 개의 공백을 하나로 줄이고, 양쪽 공백 제거
# \\s+ → 공백 문자(스페이스, 탭, 줄바꿈 등)가 하나 이상 연속될 때
text = re.sub(r'\s+', ' ', text).strip()

print(text)

datascience is exciting

# ================================
# 🧩 영어 불용어 제거 예제
# ================================

# 1️⃣ NLTK 라이브러리 불러오기
# NLTK(Natural Language Toolkit)는 자연어처리용 파이썬 대표 라이브러리다.
# 단어 토큰화, 불용어 제거, 형태 분석 등에 자주 사용된다.
import nltk
from nltk.corpus import stopwords

# 2️⃣ NLTK의 'stopwords' 데이터 다운로드
# 한 번만 다운로드하면 이후에는 자동으로 캐시된 데이터를 사용한다.
nltk.download('stopwords')

# 3️⃣ 예시 문장 설정
text = "This is not only a simple example, but also a very useful one."

# 4️⃣ 모든 단어를 소문자로 변환하고 공백 기준으로 나눈다.
# 대소문자를 통일하면 같은 의미의 단어를 하나로 처리할 수 있다.
tokens = [w.lower() for w in text.split()]

# 5️⃣ NLTK 내장 영어 불용어 목록 불러오기
# stopwords.words('english')는 약 180개 일반 불용어를 포함한다.
base_sw = set(stopwords.words('english'))

# 6️⃣ 화이트리스트(whitelist) 정의
# 부정어(not, no, never)는 의미가 매우 중요하므로 삭제 대상에서 제외한다.
whitelist = {"not", "no", "never"}

# 7️⃣ 실제로 제거할 불용어 집합 정의
# 기본 불용어 목록에서 화이트리스트 단어를 뺀다.
stop_set = base_sw - whitelist

# 8️⃣ 토큰 중에서
#   - 알파벳으로만 이루어진 단어(`isalpha()` 조건)
#   - 불용어 목록에 없는 단어
# 만 남긴다.

# 리스트 컴프리헨션을 사용하는 경우
# filtered = [w for w in filtered_by_pos if w not in custom_sw]

# for문을 사용하는 경우
filtered = []
for token in tokens:
    # 1) 알파벳인지 확인
    if not token.isalpha():
        continue

    # 2) 불용어인지 확인
    if token in stop_set:
        continue

    filtered.append(token)
# 9️⃣ 결과 출력
print(filtered)
# 출력 결과: ['not', 'simple', 'example', 'also', 'useful', 'one']

# 설명:
# - "is", "a", "but" 등 자주 등장하지만 의미가 약한 단어는 제거된다.
# - "not"은 부정 의미를 지니므로 제거되지 않는다.
# - 최종적으로 문장에서 중요한 의미 단어만 남게 되어,
#   이후 분석(예: TF-IDF, 감성 분석 등)의 품질이 높아진다.

['not', 'simple', 'example', 'also', 'useful', 'one']

# ================================
# 🇰🇷 한국어 불용어 제거 예제 (KoNLPy + 품사 기반)
# ================================

# 1️⃣ KoNLPy의 Okt 형태소 분석기 불러오기
# KoNLPy는 한국어 자연어처리를 위한 파이썬 패키지다.
# Okt(Open Korean Text)는 SNS나 일상 문장에 강한 분석기로,
# 명사, 동사, 형용사, 조사 등을 구분해준다.
from konlpy.tag import Okt

# 2️⃣ 형태소 분석기 객체 생성
okt = Okt()

# 3️⃣ 분석할 문장 예시
text = "이 정책은 결코 쉬운 결정이 아니지만, 국민의 안전을 위해 반드시 필요하다."

# 4️⃣ 형태소 분석 수행
# norm=True → '아니지만' 같은 문장을 기본형으로 정규화 ("아니지만" → "아니다")
# stem=True → 어간 추출, 예: "필요하다" → "필요"
pos = okt.pos(text, norm=True, stem=True)

# 형태소 분석 결과 예시:
# [('이', 'Determiner'), ('정책', 'Noun'), ('은', 'Josa'), ('결코', 'Adverb'),
#  ('쉽다', 'Adjective'), ('결정', 'Noun'), ('이', 'Josa'), ('아니다', 'Adjective'),
#  ('지만', 'Eomi'), ('국민', 'Noun'), ('의', 'Josa'), ('안전', 'Noun'),
#  ('을', 'Josa'), ('위해', 'PreEomi'), ('반드시', 'Adverb'), ('필요', 'Noun'),
#  ('하다', 'Verb'), ('.', 'Punctuation')]

# 5️⃣ 조사(Josa), 어미(Eomi), 구두점(Punctuation) 제거
# 조사(은, 는, 이, 가, 을, 를), 어미(다, 지만 등)는 문법적 역할만 하므로 제거 대상이다.
ban_pos = {'Josa', 'Eomi', 'Punctuation'}
filtered_by_pos = [w for w, p in pos if p not in ban_pos]

# 6️⃣ 도메인(분석 목적)에 맞게 커스텀 불용어 정의
# 예: 정책 분야 텍스트에서는 "정책", "위해" 같은 단어는 너무 빈번하므로 제거
custom_sw = {'것', '수', '정책', '위해'}

# 리스트 컴프리헨션을 사용하는 경우
# filtered = [w for w in filtered_by_pos if w not in custom_sw]

# for문을 사용하는 경우
filtered = []
for token in tokens:
    # 1) 알파벳인지 확인
    if not token.isalpha():
        continue

    # 2) 불용어인지 확인
    if token in stop_set:
        continue

    filtered.append(token)

# 7️⃣ 최종 결과 출력
print(filtered)

# 설명:
# - 형태소 분석을 통해 단어의 품사 정보를 얻는다.
# - 문법적 기능어(조사·어미)는 제거하고, 핵심 의미어(명사·형용사·부사 등)만 남긴다.
# - 불용어 목록은 과제에 맞게 조정하며, 반복 등장하지만 의미가 약한 단어를 제거한다.
# - 결과적으로 문장에서 ‘의미 중심 단어’만 남아, 분석 효율과 정확도가 향상된다.

['결코', '쉽다', '결정', '아니다', '국민', '안전', '반드시', '필요']

from nltk.stem import PorterStemmer, WordNetLemmatizer
from nltk.corpus import wordnet
import nltk

nltk.download('wordnet')

# 어간 추출기 (Stemming)
stemmer = PorterStemmer()
# 표제어 추출기 (Lemmatization)
lemmatizer = WordNetLemmatizer()

words = ["studies", "studying", "studied", "better", "running"]

print("단어\t어간추출\t표제어추출")
for w in words:
    stem = stemmer.stem(w)
    lemma = lemmatizer.lemmatize(w, pos=wordnet.VERB)  # 동사 기준으로 변환
    print(f"{w}\t{stem}\t{lemma}")

단어    어간추출    표제어추출
studies studi   study
studying studi  study
studied studi   study
better  better  good
running runn    run

“가고 싶지만 가지 못했다”

[('가', 'Verb'), ('고', 'Eomi'), ('싶', 'Verb'),
 ('지만', 'Eomi'),  ('가', 'Verb'), ('지', 'Eomi'),
 ('못하', 'Verb'), ('었', 'Eomi'), ('다', 'Eomi')]

from collections import Counter
import matplotlib.pyplot as plt

# 예시 단어 리스트
words = ['data', 'science', 'data', 'machine', 'learning', 'data']

# 각 단어의 등장 횟수를 세기
counter = Counter(words)

# 상위 3개 단어 출력
print(counter.most_common(3))

# Counter 결과를 이용한 시각화
labels, values = zip(*counter.most_common(5))

plt.bar(labels, values)
plt.title("Top 5 Word Frequencies")
plt.xlabel("Words")
plt.ylabel("Count")
plt.show()

[('data', 3), ('science', 1), ('machine', 1)]

# Okt 실행을 위해서는
# jdk 가 설치되어 있어야 함.

# 의존성 설치 - 윈도우는 지원 안됨 ㅠ
pip install python-mecab-ko

# ==========================================
# 🇰🇷 대통령 연설문 단어 빈도 분석 및 시각화
# ==========================================

from konlpy.tag import Okt, Mecab
from collections import Counter
import re
import matplotlib.pyplot as plt

# 한글 폰트 설정 (윈도우 기준)
plt.rcParams['font.family'] = 'Malgun Gothic'  # 한글 기본 폰트
plt.rcParams['axes.unicode_minus'] = False

# 1) 형태소 분석기 준비
# - Okt(Open Korean Text)는 한국어 형태소 분석기 중 하나로,
#   SNS/연설문 같은 자연스러운 문체에서 좋은 성능을 보인다.
okt = Okt()

# 2) 연설문 불러오기
# - speech.txt 파일에 대통령 연설문 전문이 저장되어 있다고 가정한다.
# - UTF-8 인코딩을 사용 (윈도우에서 인코딩 오류가 날 경우 'cp949'로 변경 가능)
with open("president_speech.txt", encoding="utf-8") as f:
    text = f.read()

# 3) 정규화: 한글과 공백만 남기기
# - [^가-힣\s] : 한글(가~힣)과 공백(\s)을 제외한 모든 문자를 찾아 공백으로 대체
# - 여러 공백을 하나로 줄이고, 문장 앞뒤 공백을 제거한다.
text = re.sub(r"[^가-힣\s]", " ", text)
text = re.sub(r"\s+", " ", text).strip()

# 4) 형태소 분석 & 명사 추출
# - okt.nouns()는 문장에서 명사만 추출해 리스트 형태로 반환한다.
tokens = okt.nouns(text)

# 5) 1글자 명사 제거
# - 조사·단음절 등 의미가 약한 단어 제거
tokens = [w for w in tokens if len(w) > 1]

# 6) 불용어 정의
# - 문서 분석 목적상 불필요하거나 너무 일반적인 단어를 제외한다.
# - 필요에 따라 도메인별로 불용어를 추가/삭제할 수 있다.
stopwords = {"국민", "정부", "대한민국", "대통령", "우리", "것", "수"}

# 7) 불용어 제거
filtered = [w for w in tokens if w not in stopwords]

# 8) 단어 빈도 계산
# - Counter는 각 단어의 등장 횟수를 세어 딕셔너리 형태로 반환한다.
counter = Counter(filtered)

# 9) 상위 10개 단어 추출
top10 = counter.most_common(10)

# 10) 결과 출력
print("상위 10개 명사:", top10)

# ------------------------------------------
# 11) 시각화: 막대 그래프
# ------------------------------------------

# Counter 결과를 (단어, 빈도) 형태로 분리
labels, values = zip(*top10)

# 그래프 크기 설정
plt.figure(figsize=(8, 5))

# 막대그래프 그리기
plt.bar(labels, values, color="skyblue")

# 그래프 제목과 축 라벨
plt.title("대통령 연설문 Top 10 단어 빈도", fontsize=14)
plt.xlabel("단어", fontsize=12)
plt.ylabel("빈도수", fontsize=12)

# x축 글자 겹침 방지
plt.xticks(rotation=45)

# 그래프 여백 조정
plt.tight_layout()

# 그래프 출력
plt.show()

상위 10개 명사: [ ('임시정부', 19), ('문화', 19), ('세계', 17),
                ('평화', 14), ('독립운동', 12), ('위기', 11),
                ('민주공화국', 10), ('나라', 10), ('역사', 10),
                ('기념관', 9) ]

pip install textblob

from textblob import TextBlob

texts = [
    "The service was very unfriendly. I will never use it again.",
    "서비스가 너무 불친절했어요. 다시는 이용 안 할 거예요.",
    "I had a really satisfying experience and I recommend it!",
    "정말 만족스러운 경험이었고 추천합니다!",
    "It was decent for the price.",
    "가격 대비 괜찮았어요.",
]

for text in texts:
    blob = TextBlob(text)
    decision = "positive" if blob.sentiment.polarity > 0 else "negative" if blob.sentiment.polarity < 0 else "neutral"
    print(f'\n문장: {text}')
    print(f' → 긍부정 판단: {decision} (감정 점수: {blob.sentiment.polarity * 100:.1f}%)')
    print(f" → 주관성 점수: {blob.sentiment.subjectivity*100:.1f}%\n")

문장: The service was very unfriendly. I will never use it again.
 → 긍부정 판단: positive (감정 점수: 20.0%)
 → 주관성 점수: 30.0%


문장: 서비스가 너무 불친절했어요. 다시는 이용 안 할 거예요.
 → 긍부정 판단: neutral (감정 점수: 0.0%)
 → 주관성 점수: 0.0%


문장: I had a really satisfying experience and I recommend it!
 → 긍부정 판단: positive (감정 점수: 62.5%)
 → 주관성 점수: 100.0%


문장: 정말 만족스러운 경험이었고 추천합니다!
 → 긍부정 판단: neutral (감정 점수: 0.0%)
 → 주관성 점수: 0.0%


문장: It was decent for the price.
 → 긍부정 판단: positive (감정 점수: 16.7%)
 → 주관성 점수: 66.7%


문장: 가격 대비 괜찮았어요.
 → 긍부정 판단: neutral (감정 점수: 0.0%)
 → 주관성 점수: 0.0%

pip install torch transformers sentencepiece protobuf

from transformers import pipeline

MODEL = "cardiffnlp/twitter-xlm-roberta-base-sentiment"

nlp = pipeline(
    "text-classification",
    model=MODEL,
    tokenizer=MODEL,
    device=-1,           # CPU. GPU 쓰면 device_map="auto"
    return_all_scores=False
)
texts = [
    "The service was very unfriendly. I will never use it again.",
    "서비스가 너무 불친절했어요. 다시는 이용 안 할 거예요.",
    "I had a really satisfying experience and I recommend it!",
    "정말 만족스러운 경험이었고 추천합니다!",
    "It was decent for the price.",
    "가격 대비 괜찮았어요.",
]

for text in texts:
    out = nlp(text, truncation=True, max_length=128)[0]
    print(f"\n문장: {text}")
    print(f" → 긍부정 판단: {out['label']} (확률: {out['score'] * 100:.1f}%)\n")

문장: The service was very unfriendly. I will never use it again.
 → 긍부정 판단: negative (확률: 94.5%)


문장: 서비스가 너무 불친절했어요. 다시는 이용 안 할 거예요.
 → 긍부정 판단: negative (확률: 92.6%)


문장: I had a really satisfying experience and I recommend it!
 → 긍부정 판단: positive (확률: 93.8%)


문장: 정말 만족스러운 경험이었고 추천합니다!
 → 긍부정 판단: positive (확률: 92.1%)


문장: It was decent for the price.
 → 긍부정 판단: positive (확률: 79.4%)


문장: 가격 대비 괜찮았어요.
 → 긍부정 판단: positive (확률: 66.1%)

pip install wordcloud

# ============================================
# 🎆 워드클라우드 실습: 명사 기반 시각화
# ============================================

from konlpy.tag import Okt
import matplotlib.pyplot as plt
from wordcloud import WordCloud

# 1️⃣ 텍스트 파일 읽기
# UTF-8 인코딩으로 한글 깨짐 방지
with open("independent_day.txt", "r", encoding="utf-8") as f:
    text = f.read()

# 2️⃣ 형태소 분석기 초기화 (Okt)
# Okt는 한국어 문장에서 명사, 동사, 형용사 등을 구분해줌
okt = Okt()

# 3️⃣ 명사만 추출
# 예: ["독립", "기념일", "국가", "대한민국", ...]
nouns = okt.nouns(text)

# 4️⃣ 불용어(Stopwords) 제거
# 분석 목적과 상관없는 조사, 접속사 등은 제거
stopwords = ["것", "수", "등", "들", "그", "그리고", "이", "저", "제", "우리", "대한"]
filtered_nouns = [word for word in nouns if word not in stopwords and len(word) > 1]

# 5️⃣ 워드클라우드를 위한 문자열 결합
text_for_wc = " ".join(filtered_nouns)

# 6️⃣ 한글 폰트 경로 설정 (운영체제별 경로 예시)
# Windows: C:/Windows/Fonts/malgun.ttf
# macOS: /System/Library/Fonts/AppleGothic.ttf
# Linux/Colab: /usr/share/fonts/truetype/nanum/NanumGothic.ttf
font_path = "C:/Windows/Fonts/malgun.ttf"

# 7️⃣ 워드클라우드 생성
# ============================================
# WordCloud 파라미터 사용 가이드
# --------------------------------------------
# font_path : 워드클라우드에서 사용할 폰트 파일 경로 (한글 필수)
#   - 미설정 시 한글이 □□□로 깨짐
#   - OS별 예시:
#       Windows → "C:/Windows/Fonts/malgun.ttf"  (맑은 고딕)
#       macOS   → "/System/Library/Fonts/AppleGothic.ttf" (애플고딕)
#       Linux   → "/usr/share/fonts/truetype/nanum/NanumGothic.ttf" (나눔고딕)
#   - Colab에서는 다음으로 설치 가능:
#       !apt-get install fonts-nanum -y && fc-cache -fv
#
# background_color : 배경색 (문자열/HEX)
#   - 예: "white", "black", "#f5f5f5"
#   - 발표/리포트용은 보통 "white" 선호
#
# width, height : 출력 이미지 해상도(픽셀)
#   - 넓을수록 글자 디테일이 좋아짐(파일 저장에 유리)
#   - 예: width=1200, height=800
#
# max_words : 표시할 최대 단어 수
#   - 상위 빈도 단어 n개만 시각화
#   - 너무 크게 잡으면 글자 겹침/가독성 저하 → 100~200 권장
#
# colormap : 색상 팔레트 (matplotlib colormap 이름)
#   - 예: "tab10", "Set2", "viridis", "plasma", "coolwarm"
#   - 참고: https://matplotlib.org/stable/users/explain/colors/colormaps.html
#
# prefer_horizontal : 수평 배치 비율(0~1)
#   - 기본 0.9 (대부분 가로 배치)
#   - 세로 단어가 많아도 되면 0.5 정도로 조정
#
# scale : 렌더링 스케일(배율)
#   - 값↑ → 더 선명한 이미지(대신 속도/메모리 ↑)
#   - 저장용 이미지는 scale=2~3 고려
#
# random_state : 난수 시드(재현성)
#   - 동일 텍스트라 해도 시드가 같으면 배치/색상 패턴이 동일
#   - 학습/보고서는 고정 권장(예: 42)
#
# mask : 마스킹 이미지(ndarray)
#   - 특정 모양(로고/학과 엠블럼)으로 단어 배치
#   - 예: mask = plt.imread("logo_mask.png")
#
# generate(text) / generate_from_frequencies(freq_dict)
#   - text: 공백으로 구분된 단어 문자열
#   - freq_dict: {"단어": 빈도, ...} 형태 (CountVectorizer, TF-IDF 등과 연계 편리)
# ============================================

wc = WordCloud(
    font_path=font_path,          # 한글 폰트 경로
    background_color="white",     # 배경색
    width=800,                    # 이미지 가로 크기(px)
    height=500,                   # 이미지 세로 크기(px)
    max_words=150,                # 최대 단어 수
    colormap="tab10",             # 색상 팔레트
    prefer_horizontal=0.9,        # 수평 배치 비율
    scale=1.0,                    # 렌더링 스케일(선명도)
    random_state=42               # 재현성(결과 고정)
    # mask=mask                   # (선택) 마스킹 이미지 사용 시 주석 해제
).generate(text_for_wc)           # 또는 .generate_from_frequencies(freq_dict)


# 8️⃣ 시각화
plt.figure(figsize=(10, 6))
plt.imshow(wc, interpolation="bilinear")
plt.axis("off")
plt.title("Word Cloud (Noun-based) - Independence Day Speech", fontsize=16)
plt.show()