ChatGPT (6) 썸네일형 리스트형 AI 법률서면 실험실 #10 이번에는 전부 인정하는 준비서면을 써 보자. 사실 이 실험 시리즈를 처음 시작하려고 했을 때의 목적은 생성형 AI가 동일한 질문에도 일관성이 없는 결과를 내놓는다는 점을 확인하는 것이었다. 그러나 여러 차례 반복해 본 결과, 그 부분만 계속 검증하는 것은 생각보다 큰 의미가 없다는 판단에 이르렀다. AI의 답변이 매번 조금씩 달라진다는 사실은 이미 충분히 확인되었기 때문이다.그래서 이번 회차부터는 실험의 방향을 조금 바꾸기로 했다. 같은 질문을 반복하기보다, 실제 소송에서 자주 사용되는 다양한 종류의 법률서면을 AI에게 작성하도록 하고, 그 결과물을 실무적인 관점에서 하나씩 검토해 보는 방식으로 진행하려 한다. AI가 어떤 서면에는 강하고, 어떤 서면에는 약한지 직접 확인해 보는 것이 훨씬 의미 있는 비교가 될 것으로 생각한다.오늘은 대여금반환청구.. AI 법률서면 작성 실험실 #9 이번에는 답변서다 오늘은 생성형 AI에게 대여금반환청구 사건의 답변서 작성을 맡겨 보기로 하였다. 지금까지는 소장과 고소장을 중심으로 실험을 진행했지만, 이번에는 피고의 입장에서 이미 돈을 갚았지만 딱히 증거가 남아있지 않은 경우 원고의 청구를 어떻게 반박하는지 확인해 보기로 했다.사실 답변서나 준비서면은 민사소장의 청구취지처럼 엄격한 형식을 요구하는 문서는 아니다. 핵심은 형식보다 주장이다. 상대방의 주장을 어떤 논리로 반박할 것인지, 어떤 사실을 인정하고 어떤 사실을 다툴 것인지가 더 중요하기 때문에, 기본적인 구조만 갖추면 작성 자체는 비교적 어렵지 않은 편이다.그래서 이번 실험에서는 오히려 AI에게 조금 더 유리한 조건이라고 볼 수도 있다. 정해진 형식에 얽매이기보다 논리적인 주장만 전개하면 되기 때문이다. 과연 .. AI 법률서면 실험실 #8 다시 소장 작성을 시켜 보았다. 제8차 실험에서는 다시 대여금반환청구 소장 작성을 생성형 AI에게 맡겨 보기로 하였다. 앞선 실험에서는 청구취지가 틀리기도 했고, 프롬프트를 바꾸자 갑자기 그럴듯한 결과가 나오기도 했으며, 힌트를 주고 나서야 스스로 수정하는 모습도 확인할 수 있었다. 과연 이번에는 어떤 결과가 나올지 다시 한번 검증해 보기로 했다.사실 연구자는 이번 실험을 시작하면서 한 가지 기대를 하고 있었다. 좋은 결과에 대한 기대가 아니라, 이번에는 또 어떤 새로운 실수를 보여줄지에 대한 기대였다. 지금까지의 경험상 생성형 AI는 같은 질문에도 예측하기 어려운 답을 내놓았고, 그 과정에서 매번 새로운 방식으로 사람을 놀라게 했다.물론 이번에는 아무런 선입견 없이 결과를 살펴볼 생각이다. 혹시 이번에는 완성도 높은 소장을 작성해 줄.. AI 법률서면 실험실 #6 이번에는 AI에게 직접 힌트를 줘 보기로 했다. 제6차 실험에서는 접근 방식을 조금 달리하였다. 지금까지의 실험에서 생성형 AI는 반복적으로 청구취지 작성에서 문제를 드러냈다. 질문 하나만 가지고 제대로 된 서면을 뽑아내기 어렵다는 것은 이제 충분히 파악을 했으니 같은 질문을 반복해 봤자 의미도 없고 재미도 없을 터.그렇다면 이번에는 AI에게 답을 알려주는 대신, 스스로 오류를 발견할 수 있도록 힌트를 제공해 보기로 하였다.추가한 질문은 단순했다. "소장부본 송달일 같은 내용이 들어가야 하는 것 아니야? 청구취지가 조금 이상한데?" 정도였다. 이번 실험의 목적은 AI의 법률 지식을 평가하는 것이 아니다. 오히려 자신의 답변을 스스로 검토하고, 사용자의 피드백을 반영하여 올바른 방향으로 수정할 수 있는지를 확인하는 데 있다. 사람도 실수를 한다. 중요한.. AI 법률서면 실험실 #4 프롬프트 수정으로 해결될 문제가 아니었다? 같은 프롬프트를 다시 입력했다. 이번에도 같은 소장이 나올까.제4차 실험에서는 제3차 실험에서 사용한 프롬프트를 어떠한 수정도 하지 않고 그대로 사용하였다. 동일한 차용증을 첨부하고, 동일한 프롬프트를 입력하였으며, 로그인되지 않은 동일한 환경에서 생성형 AI에게 대여금반환청구 소장 작성을 요청하였다.제3차 실험에서는 처음으로 실무상 검토가 가능한 수준의 결과물이 생성되었다. 그렇다면 그 결과는 프롬프트 개선의 효과였을까, 아니면 우연히 한 번 좋은 답변이 생성된 것에 불과했을까. 이 질문에 대한 답은 결국 같은 조건을 반복하는 것밖에 없다.생성형 AI를 평가할 때 가장 중요한 요소 중 하나는 재현성이다. 동일한 입력 조건에서 동일하거나 최소한 유사한 결과가 반복적으로 생성되어야 비로소 신뢰할 수 있다... "AI가 다 알려줬는데 왜 변호사가 필요해요?" 라고 얘기하는 당신에게 “지금이라도 뭘 해야 할까.” 요즘 여기저기서 정말 자주 듣는 말이다. 주식 이야기 같기도 하고, AI 이야기 같기도 하고, 부동산 이야기 같기도 하다. 사실은 다 같은 이야기다. 사람들은 뒤처지는 것이 무섭다. 정확히는, 남들은 이미 다음 칸으로 넘어갔는데 자기만 이전 화면에 남겨진 것 같은 기분을 견디기 어려워한다.한밤중에 유튜브를 켜면 그런 불안을 자극하는 영상이 끝도 없이 나온다. “이 AI 하나로 월 천 벌었습니다.” “지금 이 산업 안 들어가면 끝입니다.” “변호사도 대체됩니다.” 사람은 원래 미래보다 속도를 무서워한다. 미래는 천천히 오지만, 속도는 어느 날 갑자기 자신만 뒤에 남겨두고 달아나는 것처럼 느껴지기 때문이다.ChatGPT가 처음 나왔을 때를 떠올려본다. 사람들은 AI에게 끝말잇기.. 이전 1 다음
