소장작성 (4) 썸네일형 리스트형 AI 법률서면 실험실 #8 다시 소장 작성을 시켜 보았다. 제8차 실험에서는 다시 대여금반환청구 소장 작성을 생성형 AI에게 맡겨 보기로 하였다. 앞선 실험에서는 청구취지가 틀리기도 했고, 프롬프트를 바꾸자 갑자기 그럴듯한 결과가 나오기도 했으며, 힌트를 주고 나서야 스스로 수정하는 모습도 확인할 수 있었다. 과연 이번에는 어떤 결과가 나올지 다시 한번 검증해 보기로 했다.사실 연구자는 이번 실험을 시작하면서 한 가지 기대를 하고 있었다. 좋은 결과에 대한 기대가 아니라, 이번에는 또 어떤 새로운 실수를 보여줄지에 대한 기대였다. 지금까지의 경험상 생성형 AI는 같은 질문에도 예측하기 어려운 답을 내놓았고, 그 과정에서 매번 새로운 방식으로 사람을 놀라게 했다.물론 이번에는 아무런 선입견 없이 결과를 살펴볼 생각이다. 혹시 이번에는 완성도 높은 소장을 작성해 줄.. AI에게 민사소송 준비를 맡기면 생기는 일, 변호사가 필요한 이유 AI 민사소송 준비의 가능성과 현실생성형 AI는 민사소송 준비 과정에서 상당한 수준의 도움을 제공할 수 있으며, 기본적인 법률 개념을 정리하거나 일반적인 소장의 형식을 제시하는 능력은 과거와 비교할 수 없을 정도로 발전하였다. 그러나 이러한 발전만으로 곧바로 실무에서 활용 가능한 수준에 도달했다고 평가하기는 어렵고, 오히려 그럴듯한 문장과 자연스러운 표현이 실제 오류를 가리는 경우도 적지 않다. 결국 민사소송은 문장을 작성하는 작업이 아니라 사실관계와 증거를 법률요건에 맞게 연결하는 과정이라는 점에서 AI의 한계는 분명하게 드러난다. 이러한 구조적 한계를 정확히 검토하려면 사건 초기부터 변호사의 검토를 받아보는 것이 불필요한 시행착오를 줄이는 방법이 될 수 있다. 민사소송은 문장력보다 사실관계가 중요하다.. AI 법률서면 실험실 #5 이번에는 AI에게 조금 더 친절하게 설명해 보기로 했다 제5차 실험에서는 기존과 동일한 차용증을 사용하되, 프롬프트를 조금 더 상세히 하는 방향으로 수정하였다. 지금까지의 실험 결과를 종합해 보면 생성형 AI는 동일한 질문에도 결과가 달라졌고, 실무상 중요한 오류를 반복적으로 발생시키는 경향을 보였다. 그렇다면 보다 구체적인 지시를 제공하면 결과 역시 개선될 가능성이 있을까.이번 실험의 목적은 AI의 법률 지식을 시험하는 것이 아니다. 오히려 사용자가 프롬프트를 얼마나 세밀하게 작성해야 원하는 결과를 얻을 수 있는지를 확인하는 데 있다. 실제로 생성형 AI를 사용하는 대부분의 사람들은 AI보다 자신의 질문이 결과를 좌우한다는 사실을 간과하는 경우가 많다.물론 연구자의 예상은 크게 다르지 않다. 프롬프트를 조금 더 정교하게 다듬는다고 해서 법률적 판단 능력 자.. AI 법률서면 실험실 #4 프롬프트 수정으로 해결될 문제가 아니었다? 같은 프롬프트를 다시 입력했다. 이번에도 같은 소장이 나올까.제4차 실험에서는 제3차 실험에서 사용한 프롬프트를 어떠한 수정도 하지 않고 그대로 사용하였다. 동일한 차용증을 첨부하고, 동일한 프롬프트를 입력하였으며, 로그인되지 않은 동일한 환경에서 생성형 AI에게 대여금반환청구 소장 작성을 요청하였다.제3차 실험에서는 처음으로 실무상 검토가 가능한 수준의 결과물이 생성되었다. 그렇다면 그 결과는 프롬프트 개선의 효과였을까, 아니면 우연히 한 번 좋은 답변이 생성된 것에 불과했을까. 이 질문에 대한 답은 결국 같은 조건을 반복하는 것밖에 없다.생성형 AI를 평가할 때 가장 중요한 요소 중 하나는 재현성이다. 동일한 입력 조건에서 동일하거나 최소한 유사한 결과가 반복적으로 생성되어야 비로소 신뢰할 수 있다... 이전 1 다음
