gold 숫자가 이상할 때 source_hash, quality, lineage로 원인 좁히기
데이터 플랫폼에서 중요한 질문은 "gold 숫자를 만들었는가"에서 끝나지 않는다.
운영 중에는 오히려 이런 질문이 더 자주 나온다.
이 defect_rate가 왜 이렇게 높지?
이 gold row는 어느 source에서 왔지?
데이터 플랫폼에서 중요한 질문은 "gold 숫자를 만들었는가"에서 끝나지 않는다. 운영 중에는 오히려 이런 질문이 더 자주 나온다.
gold 숫자가 이상할 때 source_hash, quality, lineage로 원인 좁히기
데이터 플랫폼에서 중요한 질문은 "gold 숫자를 만들었는가"에서 끝나지 않는다.
운영 중에는 오히려 이런 질문이 더 자주 나온다.
이 defect_rate가 왜 이렇게 높지?
이 gold row는 어느 source에서 왔지?

이전 글에서는 같은 `source_hash`가 다시 들어왔을 때 기존 successful run을 재사용하는 idempotency를 다뤘다. 하지만 재처리에는 두 종류가 있다.

현실의 데이터 소스는 한 가지 모양으로 오지 않는다. 같은 의미의 값도 어떤 파일에서는 `생산수량`, 다른 파일에서는 `units`, 또 다른 파일에서는 `made`로 올 수 있다. 온도도 어떤 곳은 섭씨, 어떤 곳은 화씨일 수…

데이터 파이프라인에서 source schema가 바뀌는 순간은 애매하다. 무조건 무시하면 운영자는 입력 구조가 바뀐 사실을 모른다. 반대로 모든 schema 변화를 실패로 처리하면, 정상적인 컬럼 추가까지 daily run을…

Most data quality problems do not announce themselves loudly. They do not always break a...

When loading large volumes into a gbase database cluster, stability matters far more than a single...

I've spent the last three months running production workloads across all four major Chinese AI model...