리포트를 검토해준 AI가 실제 실적을 "있을 수 없는 수치"라며 오염이라 판정했는데, 확인해보니 진짜였다
오늘은 마침 느슨한 재택 교육이 있는 날이라, 평소 평일보다 여유 있게 작업 시간을 낼 수 있었습니다. 그래서 그런지 유독 건질 게 많은 하루였습니다.
AI가 자신 있게 틀렸던 순간을 목격했다
리포트 검토를 도와주던 AI가, 어떤 종목의 재무 수치가 특정 지표 기준으로 지나치게 높게 나온 걸 보고 "이 정도 수치는 이 업종/이 회사 규모에서 역대 어느 시점에도 나온 적이 없다"며 아주 자신 있게 "데이터가 오염된 것"이라고 판정했습니다.
그런데 실제로 확인해보니 아니었습니다. 그 정도로 실적이 진짜 좋았던 겁니다 — 최근 관련 업종에 큰 호황이 와서, 예전 기준으로는 "있을 수 없는" 수치가 지금은 현실이 되어 있었습니다. AI에게 왜 그렇게 판단했냐고 물어보니, 결국 "그런 수치는 역대 없었다"는 근거가 AI 자신의 학습 데이터가 끝나는 시점까지의 세상 지식에 불과했다는 게 드러났습니다. 그 이후에 실제로 벌어진 변화는 전혀 모르고 있었던 거죠.
