csv 데이터 분석 툴

주제 : csv 파일에 적재가 되는 데이터들의 통계를 내서 피피티를 만들어주는 application

 

배경 및 목표 : csv에 수많은 데이터들이 있는데 수작업으로 통계내는 데 시간이 많이 걸렸다. 이를 자동화 해주기로 하고 개발 했다.

 

사용 언어 : python

 

[코드]

import tkinter as tk
from tkinter import filedialog, messagebox
import pandas as pd
import matplotlib.pyplot as plt
from pptx import Presentation
from pptx.util import Inches
import platform
from pptx.util import Pt

# 운영 체제 확인
if platform.system() == 'Darwin':  # macOS
    plt.rcParams['font.family'] = 'AppleGothic'  # macOS에서 사용하는 폰트
elif platform.system() == 'Windows':  # Windows
    plt.rcParams['font.family'] = 'Malgun Gothic'  # Windows에서 사용하는 폰트
else:  # Linux 등의 다른 운영 체제
    plt.rcParams['font.family'] = 'NanumGothic'  # Linux에서 사용하는 폰트

# 유니코드 마이너스 기호 깨짐 방지
plt.rcParams['axes.unicode_minus'] = False


class CSVAnalyzerApp:
    def __init__(self, root):
        self.root = root
        self.root.title("CSV Analyzer & PPT Generator")
        
        # CSV 파일 선택 버튼
        self.file_label = tk.Label(root, text="CSV 파일을 선택하세요.")
        self.file_label.pack(pady=10)
        
        self.select_button = tk.Button(root, text="파일 선택", command=self.load_csv)
        self.select_button.pack(pady=5)
        
        # 분석 결과 상태
        self.status_label = tk.Label(root, text="상태: 대기 중", fg="blue")
        self.status_label.pack(pady=10)
        
        # PPT 생성 버튼
        self.generate_button = tk.Button(root, text="PPT 생성", command=self.create_ppt)
        self.generate_button.pack(pady=5)
        self.generate_button.config(state=tk.DISABLED)
        
        self.data = None  # CSV 데이터 저장 변수
    
    def load_csv(self):
        file_path = filedialog.askopenfilename(filetypes=[("CSV files", "*.csv")])
        if file_path:
            try:
                self.data = pd.read_csv(file_path, encoding='euc-kr')
                self.status_label.config(text="상태: 파일 로드 완료", fg="green")
                messagebox.showinfo("성공", f"{file_path} 파일이 로드되었습니다.")
                self.generate_button.config(state=tk.NORMAL)
                self.display_basic_analysis()
            except Exception as e:
                messagebox.showerror("오류", f"CSV 파일 로드 실패: {e}")
                self.status_label.config(text="상태: 오류 발생", fg="red")
    
    def display_basic_analysis(self):
        if self.data is not None:
            # 간단한 데이터 통계 표시
            summary = self.data.describe(include='all')
        
            # Tkinter 창에 데이터 요약 표시
            summary_label = tk.Label(self.root, text=summary, justify="left")
            summary_label.pack(pady=10)

    def create_ppt(self):
        if self.data is not None:
            try:
                ppt = Presentation()

                # 날짜 열 생성
                if 'Time' in self.data.columns and 'Identifier' in self.data.columns:
                    self.data['Date'] = self.data['Time'].apply(
                        lambda x: str(x)[:10] if isinstance(x, str) else None
                    )
                    

                    # Identifier 값 처리
                    def extract_category(identifier):
                        desired_categories = {'AD', 'DU', 'SC', 'AB', 'AAB', 'PR', 'ASC', 'RB', 'ZF', 'RF', 'AE', 'SE'}
                        parts = identifier.split('-')

                        if identifier.startswith('EE'):  # EE로 시작하면 네 번째 배열 요소
                            category = parts[3] if len(parts) > 3 else "Unknown"
                        else:  # 그 외의 경우 첫 번째 배열 요소
                            category = parts[0] if len(parts) > 0 else "Unknown"
                        
                        # 카테고리가 원하는 목록에 포함되었는지 확인
                        return category if category in desired_categories else "Unknown"

                    self.data['Identifier_Category'] = self.data['Identifier'].apply(
                        lambda x: extract_category(str(x))
                    )

                    # `Unknown` 제외
                    filtered_data = self.data[self.data['Identifier_Category'] != 'Unknown']
                    

                    # **카테고리별 일별 통계 계산 (전체 카테고리 포함)**
                    desired_categories = ['AD', 'DU', 'SC', 'AB', 'AAB', 'PR', 'ASC', 'RB', 'ZF', 'RF', 'AE', 'SE']

                 
                    # 그래프용 데이터 (Identifier_Category와 Date 기준 그룹화, 일별 그래프) 
                    daily_stats_for_graph = ( 
                        filtered_data.groupby(['Identifier_Category', 'Date']) 
                        .size() 
                        .unstack(fill_value=0) 
                        # unstack은 Date를 열로 바꾸고 Identifier_Category는 행으로 만든다.
                        .reindex(desired_categories, fill_value=0)
                        # reindex는 정해둔 순서대로 재정렬 함
                    )
                    
                    # 그래프용 데이터 (Identifiler_Category와 Month 기준 그룹화, 월별 그래프)
                    filtered_data['Month'] = filtered_data['Date'].apply(lambda x: x[:7])
                    monthly_stats = (filtered_data.groupby(['Identifier_Category', 'Month'])
                                     .size()
                                     .unstack(fill_value=0)
                                     .reindex(desired_categories, fill_value=0))
                    

                    if daily_stats_for_graph.empty:
                        raise ValueError("통계 데이터가 없습니다. 확인 후 다시 시도하세요.")

                    # 첫 번째 슬라이드: 파이 차트
                    slide = ppt.slides.add_slide(ppt.slide_layouts[5])  # Title-Only layout
                    slide.shapes.title.text = "Identifier 통계 파이 차트"

                    # 파이 차트 생성 (전체 데이터)
                    fig, ax = plt.subplots(figsize=(6, 6))
                    values = daily_stats_for_graph.sum(axis=1)
                    # sum(axis=0) : 위에서 아래로 합산 sum(axis=1) : 왼쪽에서 오른쪽으로 합산

                    # 0%인 항목 제거
                    filtered_values = values[values > 0]
                    
                    # piechart를 생성하고 3개의 값을 반환한다. 
                    patches, wedges, texts = ax.pie(
                        filtered_values,
                        labels=filtered_values.index,
                        autopct='%1.1f%%',
                        startangle=90,
                        wedgeprops={'linewidth' : 1, 'edgecolor': 'black'}, # 슬라이스 스타일
                        textprops={'fontsize' : 10}, # 텍스트 스타일
                        pctdistance=0.7, # 퍼센트 텍스트 거리
                        labeldistance=1.2, # 레이블 거리
                    )


                    
                    # 범례 항목에 퍼센트 비율 추가
                    # 각 항목의 퍼센트 비율을 가져와 범례에 추가
                    legend_labels = [f'{label}: {text.get_text()}' for label, text in zip(filtered_values.index, texts)]                    
                    # 범례 추가
                    ax.legend(patches, legend_labels, loc="best")
                    # 제목 설정
                    ax.set_title(f"Identifier 통계 (범주별 분포)\n 총 탐지 건수: {filtered_values.sum(axis=0)} 개", fontsize=14)
                    # 차트 이미지 저장
                    chart_image_path = f"./daily_identifier_pie_chart.png"
                    plt.tight_layout()
                    plt.savefig(chart_image_path)
                    plt.close(fig)
                    # 차트 이미지 삽입
                    slide.shapes.add_picture(chart_image_path, Inches(1.5), Inches(2), Inches(7), Inches(5))                   

                    # 일별 통계 표 추가 (5일 단위)
                    dates = daily_stats_for_graph.columns
                    max_days_per_slide = 5  # 한 슬라이드당 10일
                    for i in range(0, len(dates), max_days_per_slide):
                        date_range = dates[i:i + max_days_per_slide]
                        subset_stats = daily_stats_for_graph.loc[:, date_range] # loc 은 숫자로 슬라이싱 하지 않고 정확한 명칭으로 진행한다. 일반적으로 행기준이고 열기준은 [:, 열] 이렇게 진행해야한다.

                        if not subset_stats.empty and len(date_range) > 0:
                            slide = ppt.slides.add_slide(ppt.slide_layouts[5])
                            slide.shapes.title.text = f"{date_range.min()} - {date_range.max()} 일별 통계"                    
                            rows, cols = subset_stats.shape # subset_stats는 groupby로 만들어진 형태인데 이런 경우 인덱스는 groupby에서 행으로 정해준 부분이다.
                            slide_table = slide.shapes.add_table(rows + 2, 6, Inches(0.5), Inches(1.5), Inches(9), Inches(4)).table # rows + 2 는 표에 들어갈 내용 때문에 이렇게 해준 것이다.
                            slide_table.cell(0, 0).text = "Identifier" # 여기서 말하는 cell은 표 안에 있는 하나의 칸을 말한다.                            
                            for col_idx, date in enumerate(subset_stats.columns, start=1):
                                slide_table.cell(0, col_idx).text = str(date)
                            for row_idx, (category, row_data) in enumerate(subset_stats.iterrows(), start=1):
                                # iterrows() -> pandas 데이터프레임의 각행을 (인덱스, 데이터) 형태로 반환하는 메서드이다.
                                slide_table.cell(row_idx, 0).text = category
                                for col_idx, value in enumerate(row_data, start=1):
                                    slide_table.cell(row_idx, col_idx).text = str(value)
                            # 총합 추가
                            slide_table.cell(rows + 1, 0).text ="총합"                    
                            for col_idx, category in enumerate(subset_stats.columns, start=1):
                                slide_table.cell(rows + 1, col_idx).text = str(subset_stats[category].sum())



                    # 월별 통계 추가 (5달 씩)        
                    months = monthly_stats.columns
                    max_months_per_slide = 5
                    for i in range(0, len(months), max_months_per_slide):
                        month_range = months[i:i + max_months_per_slide]
                        subset_monthly_stats = monthly_stats.loc[:, month_range]
                        if not subset_monthly_stats.empty:
                            slide = ppt.slides.add_slide(ppt.slide_layouts[5])
                            slide.shapes.title.text = f"{month_range.min()} - {month_range.max()} 월별 통계" 
                            rows, cols = subset_monthly_stats.shape
                            slide_table = slide.shapes.add_table(rows + 2, cols + 1, Inches(0.5), Inches(1.5), Inches(9), Inches(4)).table
                            # 위에 slide_table 이거 추가 안 하면 누락 됨
                            slide_table.cell(0,0).text = "Identifier"
                            for col_idx, month in enumerate(subset_monthly_stats.columns, start=1):
                                slide_table.cell(0, col_idx).text = str(month)
                            for row_idx, (category, row_data) in enumerate(subset_monthly_stats.iterrows(), start=1):
                                slide_table.cell(row_idx, 0).text = category
                                for col_idx, value in enumerate(row_data, start=1):
                                    slide_table.cell(row_idx, col_idx).text = str(value)
                            slide_table.cell(rows + 1, 0).text = "총합"
                            for col_idx, month in enumerate(subset_monthly_stats.columns, start=1):
                                slide_table.cell(rows + 1, col_idx).text = str(subset_monthly_stats[month].sum())

                
            

                # PowerPoint 저장
                save_path = filedialog.asksaveasfilename(defaultextension=".pptx", filetypes=[("PowerPoint files", "*.pptx")])
                if save_path:
                    ppt.save(save_path)
                    messagebox.showinfo("성공", f"PPT가 생성되었습니다: {save_path}")
            except Exception as e:
                messagebox.showerror("오류", f"PPT 생성 실패: {e}")




# 실행
if __name__ == "__main__":
    root = tk.Tk()
    app = CSVAnalyzerApp(root)
    root.mainloop()

 

[실행화면]

실행 시키면 나타나는 최초 화면

규격에 맞는 csv 파일 업로드

자동으로 통계 내고 ppt로 제작

 

 

이를 활용해서 수작업으로 하던 통계 및 데이터 분석 시간을 크게 단축시켰다.