1.업종 :
 

2.예산 :
 

3.제작 요청사항
 

현재 AI 모델 학습을 위한 데이터를 수집하고 있지만,  

중복된 데이터, 불필요한 샘플, 편향된 데이터가 포함되어 있어 이를 정리하는 과정이 필요합니다.  

수작업으로 데이터를 정리하는 시간이 많이 소요되므로, 자동으로 정제 및 필터링하는 시스템이 필요합니다.  

1. 현재 업무 흐름 및 기존 방식  

   - 여러 출처에서 데이터를 수집한 후 수작업으로 중복 데이터 제거  

   - 특정 기준에 따라 필요한 데이터와 불필요한 데이터를 분류  

   - 데이터셋 내 불균형을 수동으로 확인하여 조정  

   - 정제된 데이터를 다시 AI 학습용 포맷으로 저장  

2. 자동화하고 싶은 업무  

   - 중복 데이터 자동 탐색 및 제거  

   - 데이터 노이즈 필터링 (예: 불완전한 문장, 특정 패턴 포함 데이터 삭제)  

   - 특정 기준을 설정하여 모델 학습에 적합한 데이터만 선별  

   - 데이터셋 내 라벨 분포를 분석하고 불균형 자동 조정  

   - 정제된 데이터를 AI 학습이 가능한 포맷으로 자동 저장