4. 필터와 목표 설정으로 데이터 품질 관리

데이터 품질 관리는 필터와 목표 설정을 통해 데이터의 정확성, 완전성, 일관성 등을 체계적으로 확보하는 과정입니다.

데이터 품질의 주요 목표

데이터 품질 관리는 다음 6대 목표를 중심으로 진행되며, 이를 KPI로 설정하여 측정합니다:

• 정확성(Accuracy): 데이터가 실제 엔터티(예: 주소, 생년월일)와 일치
• 완전성(Completeness): 필수 데이터 누락 방지(빈 값, null 식별)
• 일관성(Consistency): 시스템 간 데이터 일치 유지
• 기타: 적시성, 유효성, 중복성 등(조직별로 확장)

이 목표는 조직의 데이터 신뢰성 확보와 거버넌스 체계 정착을 위한 전략적 과업입니다.

필터를 활용한 데이터 품질 관리

필터는 특정 조건의 데이터를 추출·검사하여 품질 문제를 식별합니다:

• Microsoft Purview 통합 카탈로그:
  • 필터 식 사용(선택): 부울 식으로 행 필터링(true 시 규칙 적용, false 시 무시). 기본은 모든 행 고려
  • 행 식 결합: 필터 통과 행에 적용(true: 통과, false: 실패). 예: approxDistinctCount({aba_Routing_Number})==1000000 && approxDistinctCount({EMAIL_ADDR})==1000000
• 설문 데이터 처리: 필터·정렬로 이상값·불성실 응답 추출(글자순 정렬 유용)
• Tableau 데이터 품질 경고: 시간 범위(최대 30일), 콘텐츠 유형(데이터 원본·테이블)으로 필터링
• 조건부 서식: 이상값·결측치 색상 표시로 시각적 필터링

준비 단계: 데이터 원본 등록·검사, 프로파일링 실행, 사용자 권한 할당(데이터 품질 관리자).

목표 설정과 KPI 활용

• KPI 설정 본질: 신뢰도·일관성 측정 도구. 품질 목표에 맞춰 지표 정의(예: 근접 실패 지표, 응답 시간 최소화)
• 품질 측정 과정: 현황 분석·계량화 → 오류 조회 → 개선 활동 → 대시보드 모니터링
• 공공·조달청 규정: 품질 목표 설정 후 진단·개선(3개 영역: 관리체계, 값 관리, 결과 조치)

초기 대상 선정 시 영향력 큰 데이터 우선(트랜잭션 데이터 제외). 이러한 접근으로 데이터 품질을 지속 관리하며, 자동화(예: 오류 검증 지능화)로 효율화할 수 있습니다.