필터와 목표 설정으로 데이터 품질 관리

데이터 품질 관리는 필터를 활용한 데이터 선택과 명확한 품질 목표 설정으로 이뤄지며, 이를 통해 정확성, 완전성 등의 기준을 체계적으로 평가하고 개선할 수 있습니다.

데이터 품질의 주요 목표

데이터 품질 관리는 일반적으로 6대 목표를 기반으로 합니다:

• 정확성(Accuracy): 데이터가 실제 엔터티와 일치하는지 확인(예: 주소나 생년월일).
• 완전성(Completeness): 빈 데이터, null, 누락값 식별 및 방지.
• 일관성(Consistency): 시스템 간 데이터 일치 유지.
• 유효성(Validity): 형식 및 규칙 준수.
• 중복성(Uniqueness): 동일 객체 중복 제거.
• 적시성(Timeliness): 최신 정보 제공.

이 목표들은 KPI로 설정되어 조직의 데이터 신뢰성을 높입니다.

필터 활용 방법

필터는 특정 조건의 데이터만 추출해 품질 문제를 효율적으로 식별합니다:

• Microsoft Purview 통합 카탈로그에서 필터 식을 사용: 부울 식으로 행을 필터링(true 반환 시 규칙 적용, false 시 무시). 기본은 모든 행 포함.
  • 예: approxDistinctCount({aba_Routing_Number})==1000000 && approxDistinctCount({EMAIL_ADDR})==1000000으로 고유값 수 확인.
• 설문 데이터 처리에서 필터와 정렬: 불성실 응답이나 이상값 추출(예: 주관식 글자순 정렬).
• 조건부 서식 결합: 이상값·결측치에 색상 적용으로 시각화.

목표 설정과 관리 단계

1. 목표 및 KPI 정의: 조직 요구사항에 맞춰 품질 목표 설정(예: 데이터 관리체계, 값 관리, 진단 결과 조치).
2. 데이터 준비: 원본 등록·검사, 프로파일링 실행.
3. 규칙 생성 및 평가: 행 식으로 필터 통과 행 평가(true: 통과, false: 실패).
4. 개선 및 모니터링: 오류 분석, 대시보드 활용, 초기 대상 선정(영향 큰 데이터 우선).

이 접근은 데이터 신뢰성 확보와 거버넌스 체계 정착을 돕습니다. Microsoft Purview처럼 도구를 활용하면 자동화가 가능합니다.