본문 바로가기

ai법률상담

 (15)
카카오톡 대화만 AI에 넣으면 소송 승소 가능성을 알 수 있을까 카카오톡 대화 분석과 승소 가능성은카카오톡 대화 전체를 AI에 입력하면 사건의 윤곽이 어느 정도 드러날 수는 있다. 누가 먼저 특정한 말을 하였는지, 대화가 어느 시점부터 격화되었는지, 상대방이 어떤 사실을 인정하는 듯한 표현을 사용했는지 등을 시간순으로 정리하는 작업은 AI가 비교적 효율적으로 수행할 수 있다. 그러나 대화 내용을 요약하는 것과 재판에서 승소할 가능성을 판단하는 것은 전혀 다른 차원의 문제이며, 문장이 불리해 보인다는 이유만으로 패소가 결정되는 것도 아니다. 카카오톡 대화의 의미를 사건 전체의 구조 속에서 검토하려면 초기 단계부터 변호사의 분석이 필요하다. AI는 대화 내용을 읽지만 사건이 발생한 현실까지 보지는 못한다가상의 의뢰인 A가 배우자와 주고받은 카카오톡 대화 3년분을 AI에 ..
AI 법률서면 실험실 #8 다시 소장 작성을 시켜 보았다. 제8차 실험에서는 다시 대여금반환청구 소장 작성을 생성형 AI에게 맡겨 보기로 하였다. 앞선 실험에서는 청구취지가 틀리기도 했고, 프롬프트를 바꾸자 갑자기 그럴듯한 결과가 나오기도 했으며, 힌트를 주고 나서야 스스로 수정하는 모습도 확인할 수 있었다. 과연 이번에는 어떤 결과가 나올지 다시 한번 검증해 보기로 했다.사실 연구자는 이번 실험을 시작하면서 한 가지 기대를 하고 있었다. 좋은 결과에 대한 기대가 아니라, 이번에는 또 어떤 새로운 실수를 보여줄지에 대한 기대였다. 지금까지의 경험상 생성형 AI는 같은 질문에도 예측하기 어려운 답을 내놓았고, 그 과정에서 매번 새로운 방식으로 사람을 놀라게 했다.물론 이번에는 아무런 선입견 없이 결과를 살펴볼 생각이다. 혹시 이번에는 완성도 높은 소장을 작성해 줄..
AI 법률서면 실험실 #6 이번에는 AI에게 직접 힌트를 줘 보기로 했다. 제6차 실험에서는 접근 방식을 조금 달리하였다. 지금까지의 실험에서 생성형 AI는 반복적으로 청구취지 작성에서 문제를 드러냈다. 질문 하나만 가지고 제대로 된 서면을 뽑아내기 어렵다는 것은 이제 충분히 파악을 했으니 같은 질문을 반복해 봤자 의미도 없고 재미도 없을 터.그렇다면 이번에는 AI에게 답을 알려주는 대신, 스스로 오류를 발견할 수 있도록 힌트를 제공해 보기로 하였다.추가한 질문은 단순했다. "소장부본 송달일 같은 내용이 들어가야 하는 것 아니야? 청구취지가 조금 이상한데?" 정도였다. 이번 실험의 목적은 AI의 법률 지식을 평가하는 것이 아니다. 오히려 자신의 답변을 스스로 검토하고, 사용자의 피드백을 반영하여 올바른 방향으로 수정할 수 있는지를 확인하는 데 있다. 사람도 실수를 한다. 중요한..
AI 시대 변호사는 사라질까? 오히려 더 중요해지는 이유 AI가 바꾸는 법률시장, 그러나 결론은 아직 이르다생성형 AI의 발전으로 법률시장 역시 급격한 변화를 맞이하고 있으며, 계약서 초안 작성이나 판례 검색, 법률정보 요약과 같은 반복적 업무는 과거보다 훨씬 빠른 속도로 처리되고 있다. 이러한 변화만 놓고 보면 변호사의 역할이 축소될 것이라는 전망이 자연스럽게 제기되지만, 실제 실무 현장을 들여다보면 그 결론은 예상보다 단순하지 않다. AI는 정보를 정리하고 문장을 구성하는 능력에서는 뛰어난 성과를 보이지만, 사건을 움직이는 사람과 현장을 직접 상대하는 과정까지 대신하지는 못하기 때문이다. 결국 법률서비스는 문서가 아니라 사람을 대상으로 이루어진다는 점이 다시 부각되고 있으며, 이러한 영역에서는 여전히 변호사의 역할이 견고하게 유지된다. 자신의 사건을 어떻게..
AI 법률서면 실험실 #5 이번에는 AI에게 조금 더 친절하게 설명해 보기로 했다 제5차 실험에서는 기존과 동일한 차용증을 사용하되, 프롬프트를 조금 더 상세히 하는 방향으로 수정하였다. 지금까지의 실험 결과를 종합해 보면 생성형 AI는 동일한 질문에도 결과가 달라졌고, 실무상 중요한 오류를 반복적으로 발생시키는 경향을 보였다. 그렇다면 보다 구체적인 지시를 제공하면 결과 역시 개선될 가능성이 있을까.이번 실험의 목적은 AI의 법률 지식을 시험하는 것이 아니다. 오히려 사용자가 프롬프트를 얼마나 세밀하게 작성해야 원하는 결과를 얻을 수 있는지를 확인하는 데 있다. 실제로 생성형 AI를 사용하는 대부분의 사람들은 AI보다 자신의 질문이 결과를 좌우한다는 사실을 간과하는 경우가 많다.물론 연구자의 예상은 크게 다르지 않다. 프롬프트를 조금 더 정교하게 다듬는다고 해서 법률적 판단 능력 자..
AI 법률서면 실험실 #4 프롬프트 수정으로 해결될 문제가 아니었다? 같은 프롬프트를 다시 입력했다. 이번에도 같은 소장이 나올까.제4차 실험에서는 제3차 실험에서 사용한 프롬프트를 어떠한 수정도 하지 않고 그대로 사용하였다. 동일한 차용증을 첨부하고, 동일한 프롬프트를 입력하였으며, 로그인되지 않은 동일한 환경에서 생성형 AI에게 대여금반환청구 소장 작성을 요청하였다.제3차 실험에서는 처음으로 실무상 검토가 가능한 수준의 결과물이 생성되었다. 그렇다면 그 결과는 프롬프트 개선의 효과였을까, 아니면 우연히 한 번 좋은 답변이 생성된 것에 불과했을까. 이 질문에 대한 답은 결국 같은 조건을 반복하는 것밖에 없다.생성형 AI를 평가할 때 가장 중요한 요소 중 하나는 재현성이다. 동일한 입력 조건에서 동일하거나 최소한 유사한 결과가 반복적으로 생성되어야 비로소 신뢰할 수 있다...
AI 법률서면 실험실 #2 첫날 실패한 AI에게 다시 소장을 맡겨봤습니다 지난 실험에서 생성형 AI는 시작부터 연구자의 기대를 저버렸다. 동일한 차용증을 바탕으로 대여금반환청구 소장 작성을 요청하였으나, 답변의 일관성을 검증하기도 전에 서면 자체에서 실무상 문제점이 발견되었기 때문이다. 결국 제1차 실험은 AI의 일관성을 검증하는 실험이 아니라, AI가 작성한 결과물을 얼마나 신뢰할 수 있는지 확인하는 과정으로 마무리되었다.그러나 단 한 번의 결과만으로 결론을 내리는 것은 성급할 수 있다. 생성형 AI의 특성상 동일한 질문에도 매번 다른 답변이 생성될 수 있으며, 오히려 첫 번째 결과가 예외적인 사례일 가능성도 배제할 수 없다. 따라서 추가적인 검증이 필요하다.이에 따라 본 연구는 동일한 차용증, 동일한 프롬프트, 동일한 조건을 유지한 상태에서 다시 한 번 소장 작성을 요청하..
AI 법률서면 실험실 #1 AI는 대여금반환청구 소장을 제대로 작성할 수 있을까 생성형 AI의 발전으로 법률문서 작성 업무 역시 상당 부분 자동화가 가능해졌다는 평가가 이루어지고 있다. 그러나 실제 법률 실무에서 요구되는 핵심 역량은 단순한 문장 생성 능력이 아니라 동일한 사실관계에 대하여 일관된 판단과 논리를 유지하는 능력이라고 할 수 있다.본 연구는 생성형 AI의 답변 일관성을 검증하기 위한 목적으로 수행되었다. 이를 위하여 동일한 차용증을 반복적으로 입력하고, 매회 동일한 프롬프트를 사용하여 대여금반환청구 소장 작성을 요청하는 방식으로 실험을 진행하였다. 실험 조건은 가능한 한 동일하게 유지하였으며, 오직 생성 시점만을 달리하였다.본 실험의 핵심 연구 질문은 다음과 같다. 생성형 AI는 동일한 사실관계와 동일한 요청에 대하여 매번 동일하거나 유사한 결과물을 산출하는가. 또는 답..

티스토리툴바