0:00Your browser does not support theaudio element.구글 선호 매체 등록2027학년도 대학수학능력 6월 모의평가일인 지난 6월4일 오전 서울 마포구 서울여고에서 수험생들이 1교시 국어 영역 시험을 앞두고 시험지를 받고있다. 사진공동취재단광고서·논술형 평가에 인공지능(AI) 자동채점을 실제로 적용해본 결과, 문장이 길고 특정 어휘를 많이 쓰면 논리적 오류가 있어도 높은 점수를 주는 사례가 나타난 것으로 확인됐다. 최근 국가교육위원회(국교위)를 중심으로 수능에 서·논술형 문항을 도입하자는 논의가 이어지는 가운데, 채점 방안으로 거론되는 인공지능 채점에 아직은 한계가 있다는 점이 드러난 것이다.AI 특정 키워드 포함되면 높은 점수14일 한국교육과정평가원이 지난해 12월 발표한 보고서 ‘교과 서·논술형 평가 자동 채점을 위한 인공지능 모델 적용 방안 연구(Ⅱ)’를 보면, 국어·사회·수학·과학·기술 5개 교과에 걸쳐 인공지능 자동채점 모델을 구축하고 검증한 결과가 담겼다.연구진은 과목별로 자동채점 결과가 지닌 한계를 확인했다. 국어과에서는 ‘촉법소년 연령 하향’에 관한 설득적 글쓰기 답안을 채점하는 과정에서, 교사가 씨(C)등급으로 채점한 한 논술형 답안을 인공지능은 최고 등급인 에이(A)등급으로 분류한 사례가 확인됐다. 교사는 해당 답안을 주술 호응이 맞지 않은 비문이 섞여 있고 존댓말과 반말을 섞어 쓰는 등 높임 표현이 일관되지 않았으며, 인용한 자료의 의미를 정확히 이해하지 못한 채 논지를 전개했다며 낮은 등급으로 평가했다. 그러나 인공지능은 이 답안의 분량이 길고 제시문에 나온 어휘 등을 다수 사용한 것을 근거로 고득점을 매긴 것으로 드러났다. 연구진은 “논증의 타당성, 표현의 명료성과는 무관하게, 제시된 자료에 나와 있는 어휘 또는 그와 관련된 어휘를 많이 사용함으로써 답안유사도가 높아지고 특정 등급의 어휘가 많이 사용된다면 자동채점에서 높은 점수를 받을 가능성이 커짐을 시사한다”고 했다.광고과학과에서도 비슷한 사례가 확인됐다. ‘충격량이 동일할 때 충격을 줄이는 실생활 사례와 그 원리를 설명하라'는 문항에서, 학생이 원리를 반대로 설명해 교사가 0점 처리한 답안을 인공지능은 만점인 2점으로 오채점한 사례가 나왔다. 원리 설명이 틀렸음에도 특정 키워드가 포함됐다는 이유로 정답으로 인식된 것이다.‘정답 다양한 열린 문항’에서 AI 채점 정확도 낮아인공지능 채점의 한계는 다른 교과에서도 드러났다. 수학과에서는 정답이 되는 숫자나 계산식이 명확한 문항에서는 정확도가 높았으나, 그래프를 해석해 문장으로 서술하도록 요구하는 문항과 같이 정답이 하나로 정해지지 않고 다양한 표현이 가능한 열린 형태의 문항에서는 정확도가 뚜렷이 낮았다. 기술·가정 교과에서는 교사가 부분점수를 준 답안을 인공지능이 만점으로 상향 판정한 사례가 다수 발견됐다. 인공지능은 문장 길이, 연결어, 어미 다양성 등 형식적 요소에 민감하게 반응했지만, 교사는 기술 개념의 정확성이나 논리적 근거를 중시했기 때문이다. 인공지능이 논리 등과 무관하게 문장 구조만 문법적으로 완전하면 상향 채점하는 것이다.광고광고국교위는 앞서 인공지능 채점을 도입할 경우 1차 채점 등 보조적 도구로 활용할 예정이라는 로드맵을 밝혔다. 이민석 국가인공지능전략위원회 교육인재분과장(국민대 소프트웨어학부 교수)은 지난 11일 인천에서 열린 ‘국민과 함께 그리는 미래 대입제도’ 토론회에서 인공지능 채점 활용 방안을 발표하며 인공지능이 채점의 전권을 갖는 것이 아니라 교사의 판단을 돕는 보조 도구로 설계돼야 한다는 점을 강조했다.이 분과장이 소개한 인공지능 채점 시스템은 네 단계로 구성된다. 먼저 교사가 문항과 채점 기준(루브릭)을 설계하고, 전문가와 함께 채점 기준을 확정한 뒤 모범 예시 답안을 마련한다. 이 과정에서 “문항이 더 정교해야 한다”거나 “평가 기준이 더 세분화돼야 한다”는 문제가 발견되면 사람과 인공지능이 채점 기준 등을 보정한다. 실제 시험이 치러지면 인공지능이 1차 채점을 수행해 점수와 그 점수를 부여한 근거까지 함께 제시한다. 교사는 인공지능이 제시한 점수와 근거를 검토해 최종 점수를 확정한다. 이 분과장은 인공지능 채점 시스템의 목표 수준을 “숙련된 인간 채점자 수준 이상의 일관성”으로 내걸었다.광고개인정보 유출 등 보안 우려에 대해서는 답안과 학생 신상정보를 분리해 처리하는 블라인드 채점, 폐쇄·전용 인프라 안에서만 채점을 진행하고 결과를 외부로 반출하지 않는 방안, 학생 답안을 외부 인공지능 학습에 활용하는 것을 계약상 금지하는 방안 등을 제시했다.학생들이 인공지능 채점의 허점을 노려 부정하게 답안을 작성하는 이른바 ‘어뷰징' 우려에 대해서는, 의도적으로 시스템의 취약점을 공격해보는 ‘레드팀' 테스트를 거쳐 악용 사례를 사전에 모두 차단하겠다고 밝혔다. 앞으로 학교 내 저부담 평가에서 먼저 검증을 거친 뒤, 수능 같은 고부담 평가로 확대 적용한다는 로드맵도 제안했다.AI, 서·논술형 채점 보조적 도구로 활용돼야위 보고서에서 연구진도 인공지능 자동 채점을 채점 전담 수단이 아니라 교사의 보조적인 평가 도구로 활용해야 한다고 제언했다. 또한 인공지능 채점을 도입하려면 교사의 권위를 보장하는 규정과 분위기 조성이 필요하다고 짚었다. 인공지능 채점 결과와 교사의 채점 결과가 불일치할 경우, 복수의 교사가 이를 검토·협의해 최종 결과를 조정할 수 있는 절차가 마련되어야 한다는 것이다. 또한 인공지능 채점 모델을 구축할 때, 진단평가·형성평가처럼 즉각적인 피드백이 중요한 평가와, 총괄평가·입시처럼 객관성과 신뢰도가 우선인 평가에 자동채점을 다르게 적용할 수 있도록 옵션을 마련해야 한다고 밝혔다. 형성평가에는 빠른 피드백을 통해 학습 동기와 자기 주도성을 촉진하는 데 초점을 맞추고, 총괄평가에는 더 정교한 채점 알고리즘과 엄격한 채점 기준을 적용해야 한다는 것이다.이우연 기자 azar@hani.co.kr