[chatGPT] 생성형 AI로 한국사 문제도 만들 수 있을까?

생성형 AI를 활용한 다양한 학습 콘텐츠 및 교육 사업이 많아지고 있습니다. 

시험 문제 만들기로 검색해보니 시험 출제에 관한 기사도 있었습니다. 

 

 

 영어 시험 문제와 제시문을 보고 해당 내용의 이해도를 확인하는 문제는 어느정도 잘 만들어 주는 것 같았습니다. 

 

그래서 오늘은 생성형 AI로도 한국사 능력 시험과 유사한 문항을 출제할 수 있는지 테스트를 해보았습니다. 

일단 생성형 AI에는 한국에 관한 정보가 잘 반영이 안 되어 있기 때문에

오류가 많이 있어서 좀 더 도전적인 과제가 될 것 같았습니다. 

(무엇보다 지금 영어를 가르치고 있지 않아 영어 문제 생성은 실제적으로 사용할 일이 낮아 한국사 문제를 선택하였습니다.)

 

 

그리고 생성형 AI 중에서는 가장 똑똑하다는 GPT-4로 선택하였습니다. 

(참고 기사 : 생성형 AI 비교 기사 1, 2 ) 

 

 

아래 3가지에 초점을 두고 확인해보았습니다. 

1. GPT-4가 한글로 된 문제 이미지를 제대로 인식하고 있는지 
2. 문제 유형을 파악한 뒤 동일한 유형의 문제를 만들 수 있는지 
3. 한국사 관련 내용을 학습한 뒤 바르게 출제할 수 있는지

 

대화 과정을 공유하려고 보니

아직 이미지가 있는 대화는 공유 지원이 안 되어서 부득이하게 캡쳐본으로 올리도록 하겠습니다.

 

 

 

  1. 한글로 된 문제 이미지 인식  

 

처음에는 한글로 된 문제 이미지를 업로드했더니 한국어 언어 팩이 설치 되어 있지 않다고 했습니다.

 

 

 

그래서 한국어 언어팩 설치 방법을 물어본 뒤

알려주는 과정에 따라 한국어 팩을 설치하고

다시 이미지를 올렸더니 아래와 같이 결과가 나왔습니다. 

한글을 읽는 과정에서도 오류가 많고 수학 문제로 잘못 인식하고 있었습니다. 

 

63회 한국사 12번 문제를 chatGPT에 올려서 확인한 결과 

 

문항 전체를 다시 입력한 뒤 살펴보니 

역시나 한국사에 대한 정확한 정보는 갖고 있지 않아서 오류가 많았습니다. 

그래도 신라와 고려라는 한반도의 역사 시대에 대한 데이터는 있었고, 

 

 

 

 

추가로 한국사의 시대 흐름도 물어보니 생각보다 결과가 잘 나왔습니다. 

 

 

  2.  문제 유형을 파악한 뒤 동일한 유형의 문제 출제  

 

이미지로 된 문제 인식에 어느정도 수준이 된 것 같아서 이제 동일한 유형의 문제 출제를 해보았습니다. 

문제의 형태가 문제-제시문-선택지로 잘 나오는지 확인했는데 처음 형태를 잘 인식하고 있었지만 

아쉬운 부분이 많아서 추가 정보를 입력했습니다.

현재 생성형 AI로 원하는 결과를 얻기 위해서는 꾸준함과 정보를 계속 넣어줘야 하기 때문에 

계속 대화를 해 나갔습니다. 

 

 

정말 여러차례 하면서도 원하는 형태의 문제가 안 나와서 생각해보니 

한국사 문제 유형 자체는 대체로 문제에서 옳은 것/옳지 않은 것을 고르게 나오고 

제시문에서 특정 사건이나 인물, 시대가 나오고 

선택지에서 정답을 제외하고 다른 선택지는 다른 시대나 인물, 사건의 핵심 키워드가 포함되어 있는 형태였습니다. 

하지만 생성형 AI의 경우에는 계속적으로 제시문에 기반한 문제를 만드는 형태였다보니 잘 맞지 않았었습니다. 

그래서 아래와 같은 오류가 나오기도 했습니다. 

 

 

 

  3.  주어진 데이터를 분석하여 오류 없이 한국사 문제 출제가 가능할까  

 

생성형 AI이기 때문에 사실 제대로 된 정보를 학습하지 않으면 정확한 결과를 얻기 어렵습니다. 

한국사에 대한 정보도 많지 않기 때문에 이를 보완하기 위해서 오류가 나오는 경우 수정하는 메세지도 보내고

우리 역사넷에 나온 지방 조직 및 한국사 공부하면서 배웠던 시대별 핵심 키워드 등을 입력하고 학습한 뒤에

문제를 출제하게 하였는데 그래도 아직까지는 계속 오류가 나왔습니다. 

통일 신라 이후에 신문왕 때 9주 5소경으로 재편한 것을 입력하였고, 

분명히 GPT에게 정리하라고 할 때는 분명 통일 신라 시대로 정리했는데

문제와 문제풀이에서는 통일 전으로 나오는 등의 오류가 있었습니다. 

 

 

 

  글을 마치며  

아래 신문 기사를 읽으면서 궁금한 생각이 들어서 한국사 문제로 테스트를 해보았습니다. 

물론 결과가 기대이상이지는 않았고, 사실 관련 문항의 비슷한 유형을 출제하라고 하면 

생성형 AI보다는 제가 생각해서 출제할 것 같습니다. 하지만 좀 더 정교한 형태의 문제 유형을 분석한 뒤  

이를 반영하여 프롬프트를 주고 이를 학습한 뒤에는 더 좋은 형태의 문제 출제가 가능하겠다는 생각은 들었습니다. 

 

현재도 AI 관련 학습 코스들이 많은데 어떤 방식으로 AI 예측이 있고,

기존의 문제 은행과는 어떤 점에서 차별화될 수 있을지

또 학습 오류에 대한 자세한 분석을 바탕으로 한 모델이 나올 수 있는지 등이 궁금하고 

많은 연구들이 바탕이 되어 학습에 유용한 모델이 만들어져 가길 기대해봅니다.  

 

 

전문의 수준이라는 챗GPT…시험 출제도 가능할까?