1.업종 :
 

2.예산 :
 

3.제작 요청사항
 

현재 AI 모델 학습을 위한 데이터를 수집하고 있지만,  

중복된 데이터, 불필요한 샘플, 편향된 데이터가 포함되어 있어 이를 정리하는 과정이 필요합니다.  

수작업으로 데이터를 정리하는 시간이 많이 소요되므로, 자동으로 정제 및 필터링하는 시스템이 필요합니다.  

1. 현재 업무 흐름 및 기존 방식  

   - 여러 출처에서 데이터를 수집한 후 수작업으로 중복 데이터 제거  

   - 특정 기준에 따라 필요한 데이터와 불필요한 데이터를 분류  

   - 데이터셋 내 불균형을 수동으로 확인하여 조정  

   - 정제된 데이터를 다시 AI 학습용 포맷으로 저장  

2. 자동화하고 싶은 업무  

   - 중복 데이터 자동 탐색 및 제거  

   - 데이터 노이즈 필터링 (예: 불완전한 문장, 특정 패턴 포함 데이터 삭제)  

   - 특정 기준을 설정하여 모델 학습에 적합한 데이터만 선별  

   - 데이터셋 내 라벨 분포를 분석하고 불균형 자동 조정  

   - 정제된 데이터를 AI 학습이 가능한 포맷으로 자동 저장  

2014. 2. 5 만들어주신 고객진료상담관리15.xls 를 사용중입니다.

사용하던 중 프로그램 오류가 발견되어 수정을 부탁드리려고 글 남깁니다.

1. 고객 번호 자동 부여 문제.

새고객 입력시, 고객번호가 ['yyyy'+누적번호] 형식으로 자동 부여되고 있습니다. ex) 20140001, 0002, 0003...

그런데 20140011 번 이후로 0012, 0013으로 번호가 증가하지 않고, 20140011으로 고정되어 부여되고 있습니다.

2. 기존 DB 동일인물 확인 문제.

새고객 입력시, 기존 DB에 이름, 생년월일이 같은 사람이 있다고 메세지가 나오는 경우가 있습니다.

중복 입력을 막기 위함일텐데요.

실제로 DB에 동일한 이름과 생일이 없는 경우에도 이런 메세지가 나오는 경우가 있습니다.

간혹 발생하는 일이기 때문에 재현성이 떨어지기는 합니다만,

기존 DB에서 동일인물 확인하는 알고리즘에 오류는 없는지 확인 부탁드립니다.

수정된 파일은 email로 부탁드리겠습니다.

chodsds@daum.net

감사합니다!