큰 화제가 되고 있는 대화형 인공지능 챗GPT를 사용해 보았다. 이런저런 웹사이트에서 콜센터 대신 등장한 챗봇들의 황당하거나 답답한 응대에 실망한 적이 많았기에 챗GPT에도 처음엔 별 관심이 없었으나, 하도 많은 찬탄과 우려가 들끓길래 뒤늦게 사용해 본 것이다.

  

먼저 우리 집 개 이름을 알려 주면서 이걸로 동요(nursery rhyme)를 만들어 보라고 영어로 지시했더니, 운이 착착 맞는 그럴듯한 글을 내왔다. “원래 활발했는데 지금은 늙어서 느릿느릿해” “흰 털에 누런 털이 섞여 있어” 이런 정보를 추가로 주자 금방 반영해서 더 세밀하고 구체적인 묘사를 해냈다. 훌륭하다.

 

그럼 내 전공분야에서 이 녀석을 검증해 볼까? ‘최근 미국 증권법상 위임장(proxy) 규칙의 변화와 그것이 기업지배구조에 미치는 영향’을 영어로 물어보자 4~5개 포인트로 그럴듯한 답변을 했다. 크게 틀리지 않아서 연설문 정도로는 써먹을 수 있겠지만 좀 공허하다. 포인트 별로 하나씩 근거를 물었다. 규정 번호를 대라고도 하고, 판례 출처를 대라고도 했다. 꼬리를 무는 문답을 거치니 점점 쓸모 있는 정보를 내놓았다. 교차검증이 필요하겠지만 적어도 초벌 리서치로는 가치가 있었다.

 

포인트를 잘 잡아 적확한 질문하면 양질의 답 얻어
AI는 법률가의 훌륭한 도구로
유능한 법률가는 더 유능하게 만들어줄 수 있을 것

이제 한글로 이런저런 질문을 해보니 영어보다 정확성이 현저히 떨어진다. 특히 전혀 사실이 아닌 것을 사기꾼처럼 천연스레 얘기할 때가 많다. 내 이름을 넣고 물었더니 서울대 생명과학부에 재직하는 생물학자라며 가짜 경력을 줄줄 나열한다(실제론 동명이인은커녕 비슷한 이름을 가진 분도 없다). 어떤 분이 SNS에 올린 것을 보니 “애국시인 윤동주”가 “서시”에서 “동해물과 백두산이 마르고 닳도록”이라고 노래했다고 답하더란다. 법률 관련 정보도 묘하게 부정확해서 신뢰성이 확 떨어졌다.

 

그래서 얻은 소감 몇 가지. 첫째, 영미나 EU에 관해 영어로 물어보면 상당히 정확한 답을 내지만, 한국에 관한 정보는 한글로 묻든 영어로 묻든 아직 부정확하다. 양질의 정보를 아직 충분히 학습하지 못한 것 같다. 둘째, 어떻게 묻느냐가 중요하다. 증인신문처럼 포인트를 잘 잡아서 적확한 질문을 연쇄적으로 하면 훨씬 양질의 답을 얻을 수 있었다. 셋째, 이용자가 식견이 있어야 거를 것은 거르고 의미 있는 도움을 얻을 수 있다. 서시에 ‘동해물’이 안 나온다는 걸 모르면 저 엉터리 설명을 듣고 그런 줄 알았을 것이다. 내가 미국 위임장 규칙에 관한 대화를 통해 많은 걸 얻을 수 있었던 건 그 분야에 대해 약간 아는 게 있었기 때문이다.

챗GPT 같은 AI가 법률가를 대체할 수 있을까? AI가 아무리 발전해도 결국 최종단계에서 의사결정을 하는 것은 사람이다. AI는 컴퓨터나 판례 DB가 그랬듯이 법률가의 훌륭한 도구가 되어줄 것이다. 그 도구를 잘 활용하려면 법률가들은 AI에게 일을 잘 시키는 능력, AI가 가져온 정보를 검증하고 이를 기반으로 원활히 의사소통하는 능력, 이를 통해 궁극적으로 현명한 판단을 하는 능력을 갖춰야 할 것이다. 아마도 AI는 무능한 법률가를 유능하게 만들어주지는 못하겠지만 유능한 법률가는 더 유능하게 만들어줄 수 있을 것이다.

 

 

천경훈 교수(서울대 로스쿨)