학부생 논문 공모전 데이터 수집 후 정제 자동화 팁

2026-07-10

1. 왜 데이터 정제 자동화가 필요한가

1‑1. 공모전 평가 흐름의 변화

최근 2024‑2026년 사이에 진행된 국내 대학생 공모전은 ‘아이디어 자체보다는 문제 정의 → 근거 제시 → 실행 가능성 → 완성도’ 순서대로 점수를 배분하는 추세가 뚜렷해졌다. 특히 데이터·근거 파트와 논리·완성도 파트가 각각 30 % 이상을 차지하면서, 원시 데이터를 그대로 제출하는 경우는 거의 점수를 얻지 못한다.

1‑2. 데이터 양의 급증과 인력 한계

데이터 기반 기획이 강화되면서, 수집해야 할 원본 데이터는 수천 건에서 수만 건으로 늘어나고 있다. 수작업 정제는 시간 40 % 이상을 소모하고, 오탈자·중복·결측치가 발생하기 쉽다. 자동화는 이러한 비용을 크게 절감하고, 심사관이 요구하는 **‘근거·데이터의 출처 제시’**를 일관되게 관리할 수 있게 해 준다.

2. 문제 정의와 목표 설정 방법

2‑1. 첫 장에 명확히 적는 문제 진술

공모전 수상작은 첫 페이지에 ‘어떤 문제를 왜 해결해야 하는가’를 한 문장으로 정의한다. 예를 들어, “대학생들의 설문 응답 데이터는 포맷이 일관되지 않아 통계 분석에 30 % 이상의 오류가 발생한다”와 같이 구체적인 수치를 제시한다.

2‑2. 목표를 측정 가능한 지표로 전환

• 데이터 수집 자동화 비율 → 80 % 이상
• 결측치 처리 정확도 → 98 % 이상
• 데이터 출처 기록 자동화 → 100 %

이러한 KPI를 사전에 설정하면, 프로젝트 진행 중에 ‘근거·데이터’ 파트에서 요구하는 ‘신뢰성’과 ‘재현가능성’ 점수를 확보하기 쉽다.

3. 데이터 수집 자동화 핵심 기술

3‑1. 웹 스크래핑 vs API 활용

3‑2. 파이썬 기반 스크래핑 예시 (Requests + BeautifulSoup)

import requests
from bs4 import BeautifulSoup
import pandas as pd

url = "https://university.example.edu/survey/results"
resp = requests.get(url, headers={"User-Agent":"Mozilla/5.0"})
soup = BeautifulSoup(resp.text, "html.parser")
table = soup.select_one("table.result-table")
df = pd.read_html(str(table))[0]

# 파일 저장 및 출처 메타 데이터 추가
df.to_excel("raw_data.xlsx", index=False)
with open("metadata.txt", "a", encoding="utf-8") as f:
    f.write(f"{url}\t{resp.status_code}\t{pd.Timestamp.now()}\n")

위 코드는 데이터 원본 파일과 함께 출처를 텍스트 파일에 기록함으로써, ‘데이터·근거’ 파트의 출처 요구사항을 자동으로 충족한다.

3‑3. 일정 자동화와 알림

• cron(리눅스) 혹은 Task Scheduler(윈도우)로 매일 09:00에 스크래핑 실행
• 실행 결과를 슬랙·디스코드 웹훅으로 바로 알림 → 오류 발견 시 즉시 대응

3‑4. 생성형 AI 활용 팁

생성형 AI를 이용해 데이터 라벨링 자동완성이나 결측치 예측을 할 수 있다. 다만, AI 생성물임을 명시하고, 학술적 검증이 된 모델만 사용해야 심사에서 ‘AI 생성물 표기 누락’ 감점을 피한다.

4. 데이터 정제 파이프라인 설계

4‑1. 전체 흐름도

1. 수집 – 원시 CSV/JSON 파일 확보
2. 검증 – 스키마(컬럼명·타입) 일치 여부 체크
3. 정제 – 중복 제거, 결측치 보간, 이상치 필터링
4. 통합 – 여러 파일을 하나의 마스터 테이블로 결합
5. 버전 관리 – Git + DVC 로 데이터 버전 기록

4‑2. 파이썬 코드 스니펫 (Pandas + Pandera)

import pandas as pd
import pandera as pa

# 1) 스키마 정의
schema = pa.DataFrameSchema({
    "respondent_id": pa.Column(int, nullable=False, unique=True),
    "age": pa.Column(int, checks=pa.Check.in_range(18, 35)),
    "gender": pa.Column(str, checks=pa.Check.isin(["M","F","Other"])),
    "score": pa.Column(float, checks=pa.Check.greater_than_or_equal_to(0))
})

# 2) 파일 로드 및 검증
raw = pd.read_excel("raw_data.xlsx")
validated = schema.validate(raw)

# 3) 중복·결측치 처리
clean = (
    validated.drop_duplicates(subset="respondent_id")
            .fillna({"age": validated["age"].median(),
                     "score": validated["score"].mean()})
)

# 4) 이상치 제거 (z‑score > 3)
z = (clean["score"] - clean["score"].mean()) / clean["score"].std()
clean = clean[abs(z) <= 3]

clean.to_csv("clean_data.csv", index=False)

위 파이프라인은 **‘데이터·근거’ 파트에서 요구되는 ‘근거·데이터의 출처 및 정합성 검증’**을 코드 수준에서 자동화한다.

4‑3. 대용량 데이터 처리 팁

• dask 혹은 polars 로 메모리 사용량을 30 % 이하로 감소
• 클라우드 스토리지(S3)와 연동해 스테이징 영역을 별도로 두고, 원본은 절대 수정하지 않음

5. 근거·데이터 출처 관리와 저작권 준수

5‑1. 출처 표기 표준화

출처는 ‘references.txt’ 파일에 한 줄당 하나씩 정리하고, 본문 내에서는 [1], [2] 형식으로 인용한다.

5‑2. 저작권·AI 생성물 고지 규칙

• 외부 데이터는 반드시 CC BY 혹은 공공 데이터인지 확인
• AI가 생성한 라벨·코드는 ‘AI‑generated’ 라벨을 달고, 사용한 모델명·버전·프롬프트를 기록
• 위 사항을 누락하면 감점 요인 ‘AI 생성물 표기 누락’에 해당한다.

5‑3. ESG·지역 문제 해결형 공모전 대비

ESG(환경·사회·거버넌스) 관련 데이터를 활용한다면, **‘데이터 수집 경로가 친환경적·투명한가’**를 별도 항목으로 제시한다. 예를 들어, 지역 공공기관이 제공하는 **‘탄소배출량 월간 데이터’**를 활용해 비용 절감 효과를 수치화하면 차별화 포인트가 된다.

6. 결과물 표현과 제출 체크리스트

6‑1. 결과물 구성 권장 규격

6‑2. 최종 제출 체크리스트

• 파일명에 팀명·공모전 코드 포함 여부 확인
• 모든 파일에 개인정보(이름·학번·연락처) 삭제
• 출처·데이터 근거가 references.txt에 누락 없이 기록
• 이미지 해상도 최소 300 dpi, 차트는 색맹 친화 팔레트 사용
• 파일 용량 제한(예: 총합 30 MB) 초과 여부 점검
• 오탈자·맞춤법 검증 (한글 맞춤법 검사기 활용)
• AI 생성 부분에 ‘AI‑generated’ 라벨과 모델 정보 표기
• 제출 전 1일 전 전체 파일을 다른 사람에게 검토 받아 논리 흐름 점검

6‑3. 흔히 발생하는 감점 사례와 예방법

7. PT(프레젠테이션)와 심사 대비 전략

7‑1. 첫 30초에 문제 심각성 한 문장 만들기

“현재 대학 설문 데이터는 포맷 불일치와 결측치 문제로 인해, 통계 분석 결과에 평균 27 %의 오류가 발생하고 있습니다.”

이 문장은 **‘문제 정의’**와 **‘데이터 문제’**를 동시에 전달해 심사관의 관심을 끈다.

7‑2. 슬라이드 구성 원칙

• 1슬라이드 = 1핵심 메시지 → 내용 과다 방지
• 시각 자료는 70 % 이내 → 텍스트와 그래프 균형
• 색상은 3가지 이상 사용 금지 → 가독성 유지

7‑3. 질의응답 대비 FAQ

7‑4. 발표 파일 포맷 주의사항

공모전마다 세로형 9:16 영상을 요구하는 경우가 늘어나고 있다. PPT 파일을 1920×1080 혹은 1080×1920 비율로 저장하고, 영상 변환 시 **자막 파일(.srt)**을 별도 제공하면 ‘제출 규정 준수’ 점수를 확보한다.

8. 부록: 실전 체크리스트와 템플릿 예시

8‑1. 프로젝트 시작 전 체크리스트

8‑2. 출처 기록 템플릿 (references.txt)

[1] https://data.seoul.go.kr/dataset/traffic_2023.csv   접근일: 2024-06-15
[2] https://api.openweathermap.org/data/2.5/weather?q=Seoul&appid=YOUR_KEY   호출일: 2024-07-09
[3] 김현수 외, “대학생 설문 데이터 품질 연구”, 한국정보과학회, 2023.
[4] ChatGPT-4.0 (2024‑07‑10) 프롬프트: “설문 응답 결측치 예측 모델 코드 생성”   AI‑generated

8‑3. 파이프라인 흐름도 예시 (Mermaid)

flowchart LR
    A[데이터 수집] --> B[메타 데이터 기록]
    B --> C[스키마 검증]
    C --> D[정제 (중복·결측·이상치)]
    D --> E[통합·버전 관리]
    E --> F[분석·시각화]
    F --> G[보고서·PT 작성]

이 흐름도를 PPT 첫 페이지에 삽입하면 ‘문제 정의 → 실행 계획 → 결과물’ 전체 논리 구조를 한눈에 보여주어 심사관의 이해도를 높인다.

위 가이드를 따라 데이터 수집·정제 과정을 자동화하고, 근거·출처 관리와 제출 체크리스트를 철저히 이행한다면, 논리·완성도 비중이 높은 최신 공모전에서 높은 점수를 확보할 수 있다. 데이터 작업을 “수작업”에서 “자동화”로 전환하는 하나의 작은 변화가, **‘예산 30 % 절감·시간 50 % 단축’**이라는 구체적인 수치로 심사관에게 강력히 어필할 수 있는 차별화 포인트가 된다.

함께 보기: 공모전 목록 · 공모전 팁 더보기