교수법 특강 ③ - 남신혜 교수 <AI 시대에 대학생 공부시키기>

# AI 시대의 도래로 대학 수업이 커다란 변곡점을 맞고 있다. 대학 교육과 평가 방식 전반의 변화가 필요하다는 요구도 점차 커지고 있다. 우리신문은 교수학습개발원이 ‘AI 시대 대학 수업의 대전환: 교수자의 새로운 도구, 그리고 실천’을 주제로 4회에 걸쳐 진행하는 교수법 특강 현장을 찾아, 학내 AI 활용 수업 사례를 소개한다. 지난달 28일 진행된 세 번째 특강에서는 국어국문학과 남신혜(국어학) 교수가 국어정보학 수업 사례를 중심으로 AI 저자의 특징을 분석한 내용과 이를 토대로 직접 실행한 교수법을 공유했다.

▲특강을 듣는 교수들이 현장에서 의견을 나누는 모습 (사진=이지수 기자)

남신혜 교수의 연구 분야인 국어정보학은 국어학과 전산학(오늘날의 정보학)이 만나 탄생한 학문으로, 한국어로 된 정보 현상을 다룬다. 컴퓨터를 이용한 한국어 연구이기 때문에 전산화된 언어자료를 다뤄보는 실습도 수업에서 이뤄진다. 남 교수는 챗GPT가 등장하고 학생들이 적극 사용하기 시작한 초창기부터 “어떤 범위 내로 AI를 허용해야 할지, 어디까지 받아들여야 할지 고민해 왔다”고 전했다. 학부생들이 제출한 과제나 보고서, 대학원 세미나 발표, 논문 심사 과정을 거치며 “명시적으로 적혀있지 않아도 어느 순간부터는 이건 AI가 쓴 거네 하는 감이 들었다”고 말했다. 특강에 참여한 교수들도 남 교수의 “다른 교수님들도 다 느끼셨을 것”이라는 말에 고개를 끄덕이며 공감하는 모습이었다.

언어학자의 시각에서

AI 저자 구별 가능

먼저, 언어학자의 시각에서 생성형 AI가 사용하는 언어 모델은 한국어 모화자의 언어와 다른 측면이 있다고 설명했다. 남 교수는 직접 발견한 AI 저자의 특징을 크게 형식적 특징과 문체적 특징으로 나눴다.

형식적 특징으로는 ▲콜론(:)과 세미콜론(;)의 사용 ▲개조식 표현을 꼽았다. 학생이 작성한 보고서 일부를 사례로 제시한 남 교수는 “콜론(:)이 있고 (설명에) 번호를 달아 개조식으로 구조화된 형태”라며 “이런 형태는 기업 보고서나 외부 프로젝트 연구 용역 보고서에서 흔히 쓰는 방식이다”고 말했다. 이어 “학문 공동체 안에서 인문학을 하는 사람들의 의사소통 수단으로의 논문 혹은 학술 글쓰기에서는 완성과 형식 면에서 이런 방식의 글을 가르치거나 배운 적이 없다”며 “이렇게 작성된 글은 인공지능이 쓴 것으로 볼 수밖에 없다”고 말했다.

문체적 특징으로는 ▲특유의 지시 표현 사용(이·그·저) ▲AI가 선호하는 특정 단어(ex. 심층적) ▲그럴듯한 말과 단어 ▲영어 번역식 표현 ▲할루시네이션(허위 생성)이 지적됐다. 남 교수는 4가지 사례를 제시한 다음 “읽어보시고 어떤 부분에서 인공지능이 쓴 글이라고 판단했는지 생각해 보시라”고 현장에 있는 교수들에게 요청했다. 그러자 교수들은 사례에 공통적으로 등장하는 “‘이 학문은’이라는 결속 표현에서 부자연스러움을 느꼈다”고 답했다. 남 교수는 “우리는 앞 문장과의 의미적 연결을 위해 대용·반복·생략 등 다양한 결속 방식을 쓰지만 인공지능은 이를 적절히 활용하지 못한다”며 “국어정보학의 상위 개념인 ‘학문’에 이·그·저를 붙여 ‘이 학문은’이라고 하는 부자연스러운 표현을 반복한다”고 설명했다.

AI가 좋아하는 어휘에 대해서도 분석을 이어갔다. 남 교수는 “과거와 달리 요즘 학생들은 ‘심층적으로 분석한다’ ‘심층적으로 이해한다’와 같은 표현을 과도하게 사용한다”고 말했다. 확인을 위해 ‘intensively’라는 영단어가 들어간 원문을 AI에게 주고 번역시켜 보니, “한국에서 공부한 사람이라면 ‘집중적으로’라고 번역해야 맥락상 맞지만, 인공지능은 ‘심층적으로’라고 번역하는 모습을 볼 수 있다”고 설명했다.

▲남 교수는 직접 발견한 AI 저자의 특징을 크게 형식적 특징과 문체적 특징으로 나눴다. AI 저자의 문체적 특징 중 하나는 그럴듯한 말을 생성한다는 것이다. (그림=발표 PPT 캡처)

국어정보학 수업에서 학생들이 제출한 주간 보고서를 AI 사용이 의심되는 것과 아닌 것을 남 교수 나름대로 분류한 다음 핵심어를 추출해 네트워크를 그려보기도 했다. AI 사용이 의심되는 보고서에는 ‘언어’, ‘분석’, ‘데이터’, ‘기술’, ‘처리’ 등의 표현이 두드러졌다. 남 교수는 “수업 구성을 직접 했기 때문에 내가 무엇을 가르쳤는지 알고 있다”며 “수업에서 ‘기술’이나 ‘데이터’ 같은 표현은 사용하지 않았다”고 말했다. 이어 “우리 분야에서는 데이터를 ‘말뭉치’라고 표현하기 때문에 학습자들이 반드시 기재해야 하는데 이 핵심 키워드도 빠져있다”고 설명했다. 이외에도 한국어의 구조를 쓰지 않고 영어 구조(피동 구문)를 사용하는 모습, 참고문헌에 허위 논문을 기재하는 등의 할루시네이션을 언급하기도 했다.

‘AI 못 쓰게 하자’는 결심

평가체제 재정립 필요성도 언급

올해부터 남 교수는 국어정보학 수업에서 중간고사 대체 보고서를 없애고 중간고사 시험을 시행하고 있다. 기존 보고서는 학생이 일반적 해석과 고찰을 담아 자신만의 답안을 완성하는 형태로 평가의 타당성이 높았지만, AI 사용으로 공정성을 담보하기 어렵게 되면서 시험 방식을 바꿀 수밖에 없었다. 이후 수업에서는 ▲오픈북 시험으로 전환 ▲보고서 작성 시 동영상 캡처 ▲출처 명기·캡처 화면 제출 의무화/점수화 등의 조치를 시행하고 있다.

남 교수는 오픈 AI 창립 멤버인 전문가 조언을 인용하며 “교실 밖에서 이루어지는 활동은 AI를 사용했을 것이라고 가정하고, 허용되지 않는 유형이라면 수업 안에서 가능한 활동으로 전환해야 한다”고 말했다. 이어 “AI를 못 쓰게 하는 대신 교수자들은 수업 내 다양한 활동을 유의미하게 설계해 평가와 연동할 방법을 고민해야 한다”며 “수업 안에서 진행할 수 있는 여러 활동으로 평가 체계를 재정립해야 할 시점”이라고 강조했다.

“프롬포트 따라 결과물 천지차이”

AI ‘잘’ 쓰는 법 알려주기도

한편으로는 AI를 ‘잘’ 쓰게 만들자는 상충된 마음도 들었다. 남 교수는 “인문학을 하는 사람이다 보니 글을 직접 쓰지 않는 것에 저항감이 있었지만 앞으로는 불가피하다고 생각했다”며 “‘이런 경우에는 인공지능을 쓰면 유용하다’는 점을 자료로 만들어 학생들에게 알려주기로 했다”고 말했다. AI를 사용하더라도 한국어에 대한 직관이 있는 언어학자가 탐지하지 못할 정도의 퀄리티를 갖춘 보고서를 낸다면 괜찮을 것 같다는 생각에서였다. 다만 “그 수준에 다다르려면 학생들이 경각심을 가지고 직접 수정하고 퇴고하는 과정이 필요하기 때문에 그런 부분을 계속 지도하고 있다”고 덧붙였다.

대표적으로 ‘데이터 처리’에서 AI를 사용할 수 있는 방법에 대해 지도하고 있다. 한 차시 동안 프롬포트 엔지니어링에 대한 정의와 관련 기법, ‘빈도 분석’ 시 사용할 수 있는 프로그램 등을 소개하는 시간을 마련했다. 남 교수는 “인공지능을 사용하되, 프롬포트를 어떻게 입력하는지에 따라 결과물의 퀄리티가 천지차이가 된다는 점을 알려줬다”고 설명했다.

남 교수는 수업을 구성하며 “학생들에게 ‘교수님이 전문가네’라는 인식과 함께, 잘못 쓰면 큰일 날 수 있다는 약간의 경각심을 주고자 했다”고 말했다. 이어 “수업을 준비하면서 스스로도 인공지능을 외면하지 않으면서, 학생들에게 유용한 팁을 줄 수 있다는 점을 확인할 수 있었다”는 말을 남기며 특강을 마무리했다.

▲이날 특강 현장에서, 국어국문학과 남신혜 교수가 국어정보학 수업 사례를 중심으로 AI 저자의 특징을 분석한 내용과 이를 토대로 직접 실행한 교수법을 공유했다. (사진=이지수 기자)