ChatGPT(AI) に司法書士試験の問題を解かせてみた。

こんばんは。九条です。

前の記事で、ChatGPT(AI) にプログラミングをさせる実験を行いました。その結果、かなりの精度でプログラムを書けることが分かりました。

これによって、将来司法書士の仕事がAIに奪われるというのは夢物語ではなく現実味のある話なのかもしれないと考えるに至りました。

しかし、AIが司法書士の仕事を奪うには、大前提としてAIが司法書士と同等程度の法律に関する知識と能力を持っていなければなりません。

ここでは、もう少し踏み込んで、AIに司法書士試験の問題を解かせてみました。

プログラミングは創作的な作業であり、本来はコンピュータが苦手とする分野です。一方、司法書士試験の問題は知識さえあれば解けるため、プログラミングができるなら司法書士試験の問題も解けるだろうと考えていました。

念のため、本記事では本当に解けるかどうかを検証したいと思います。

関連記事
前提条件
ChatGPT に司法書士試験の問題を解かせてみた。
気付き
間違いを指摘したら認めた？！
何故１肢誤ったか？
ChatGPT に改めて割り算の問題を解かせてみた。
最後に
続編記事

前提条件

この検証をするにあたり、まずは、課金しないで検証を行いました。ChatGPT に課金しない場合は、ChatGPT の内部の仕組みとして、一世代前のものである GPT-3.5 を使うことになります。これが、課金することでより賢い GPT-4.0 を使用できるようになります。

今回解かせたのは、令和４年度司法書士試験問題の午前第４問（民法第１問）です。

これは司法書士試験の問題としては比較的簡単な部類に入ります。しかし、民法は会社法等と違って考えることを要求されるため、検証の題材としては打ってつけかと思いました。

先に、課金せずに（GPT-3.5 で）検証したところ、５肢中１肢正解という残念な結果になりました。

次に、課金して（GPT-4 で）検証しました。

本記事では、課金する前とした後でどのような違いがあったかも見ていきたいと思います。

ChatGPT に司法書士試験の問題を解かせてみた。

以下、GPT-4 を使って ChatGPT に問題を解かせた結果です。

（質問）

以下は司法書士試験の問題です。次の文章の正誤を答えてください。

（問）未成年者は、法定代理人の同意を得なくても、債務の免除を受けることができる。

正しい。未成年者は、法定代理人の同意を得なくても、債務の免除を受けることができます。これは未成年者保護のための法律であり、未成年者が自分の利益になる法律行為を行うことを可能にするためのものです。

正解です。なお GPT-3.5 では間違いの答えを出してきました。

（質問）

（問）未成年者が委任による代理人としてした法律行為については、行為能力の制限を理由として取り消すことができる。

（回答）

正しくない。未成年者が委任による代理人としてした法律行為については、行為能力の制限を理由として取り消すことができません。代理人として行った法律行為は、代理人自身の法律行為ではなく、代理された本人の法律行為とみなされるためです。未成年者が代理人として行った法律行為の効力は、代理された本人の行為能力によって決まります。

正解です。なお GPT-3.5 では間違いの答えを出してきました。

（質問）

（問）未成年者が法定代理人の同意を得ないで法律行為をした場合には、当該未成年者は、法定代理人の同意がなければ行為能力の制限を理由として当該法律行為を取り消すことができない。

正しくない。未成年者が法定代理人の同意を得ないで法律行為をした場合、当該未成年者は、法定代理人の同意がなければ行為能力の制限を理由として当該法律行為を取り消すことができます。未成年者には行為能力が制限されており、法定代理人の同意がない場合、未成年者は自分の利益に反する法律行為を取り消すことができるという保護措置が用意されています。

正解です。なお GPT-3.5 では間違いの答えを出してきました。

（質問）

（問）未成年者が特定の営業について法定代理人の許可を受けた場合には、その営業に関する法律行為については、行為能力の制限を理由として取り消すことができない。

正しい。未成年者が特定の営業について法定代理人の許可を受けた場合、その営業に関する法律行為については、行為能力の制限を理由として取り消すことができません。これは、法定代理人の許可があることで未成年者の行為能力が一定の範囲で認められるためです。その結果、未成年者は許可された営業に関連する法律行為を自由に行うことができます。

正解です。なお GPT-3.5 では唯一この肢だけ正解できました。条文通りで引っ掛けの無い問題は得意なのだと思われます。

（質問）

（問）未成年者を一方当事者とする売買契約が行為能力の制限を理由として取り消されて無効となった場合には、当該売買契約に基づく債務の履行として給付を受けた相手方は、現に利益を受けている限度において、その給付について返還の義務を負う。

（回答）

正しい。未成年者を一方当事者とする売買契約が行為能力の制限を理由として取り消されて無効となった場合、当該売買契約に基づく債務の履行として給付を受けた相手方は、現に利益を受けている限度において、その給付について返還の義務を負います。これは、無効とされた契約によって受けた利益を不当に保持しないようにするための措置です。

間違いです。なお GPT-3.5 でも間違いました。

取り消されて無効となった場合に、「現に利益を受けている限度において、その給付について返還の義務を負う。」のは未成年者であって、その相手方は全額の返還の義務を負います。ここのところ、知識を混同しているようです。

以上を見るに総合成績は優秀です。なんと５肢中、４肢正解してきました！

気付き

問の解説が微妙です。
分からないとは言ってきません。
GPT-4 の方が圧倒的に賢いです。

問の解説が微妙です。

問の解説がいまいち的を得ていないように思います。例えば、「（問）未成年者が法定代理人の同意を得ないで法律行為をした場合には、当該未成年者は、法定代理人の同意がなければ行為能力の制限を理由として当該法律行為を取り消すことができない。」に対しては、「取り消しは、法定代理人の同意が無くてもできる。」というのが要点ですが、ピントがずれた解説をしています。

この辺り、オートマ過去問であれば、極めて的を得た解説を一言で済ませているのですが、AIにその能力は無いようです。

従って、AIに過去問の解説を訊いてみるという使い方はあまりお勧めできません。AIを司法書士試験の学習に取り入れるとしても、かなり限定的な使い方しかできないでしょう。

分からないとは言ってきません。

この AI(ChatGPT) は、分からないという回答をなかなかしてくれないようです。司法書士試験では、分からないという回答を下せることが重要で、５肢中１肢分からないという状況なら正解に辿り着けますが、５肢中１肢の判断を誤るという状況なら正解に辿り着けない可能性があります。

ここは、肢別ではなく本番形式の過去問を解かせて、内部的に分らないという処理ができているかを検証してみる必要がありそうです。

当然ですが、分からないと言って来ない以上は、誤った回答をされる可能性が高いというリスクが付いて回ることを考慮しなければなりません。

これは、司法書士試験の学習に限った話ではないのですが、AIの言ってくることを、絶対に鵜呑みにしてはいけません。

GPT-4 の方が圧倒的に賢いです。

GPT-3.5 から GPT-4 にアップグレードしたことにより、５肢中１肢正解から、４肢正解まで、性能が大幅に向上しました。

例えば、学校の宿題をAIにやらせようとか考えている方は、課金は必須だと思います。

間違いを指摘したら認めた？！

ちなみにですが、AIに対して間違いを指摘してみました。そしたら何と、間違いを認めました。（GPT-3.5では間違いを指摘しても認めませんでした。）

（質問）

（問）未成年者を一方当事者とする売買契約が行為能力の制限を理由として取り消されて無効となった場合には、当該売買契約に基づく債務の履行として給付を受けた相手方は、現に利益を受けている限度において、その給付について返還の義務を負う。
の回答は間違えていませんか？取り消されて無効となった場合に、「現に利益を受けている限度において、その給付について返還の義務を負う。」のは未成年者であって、その相手方は全額の返還の義務を負いませんか？

（回答）

おっしゃる通り、私の先程の回答に誤りがありました。申し訳ございません。

正しい回答は以下の通りです。

正しくない。未成年者を一方当事者とする売買契約が行為能力の制限を理由として取り消されて無効となった場合、当該売買契約に基づく債務の履行として給付を受けた相手方は、全額返還の義務を負います。一方、未成年者は、現に利益を受けている限度において、その給付について返還の義務を負うことになります。

AIを使いこなす上では、AIが間違ったことを言っていないか、違和感を感じた部分は都度指摘するという事が重要になりそうです。

何故１肢誤ったか？

これは、次のような質問をすることで発覚しました。

（質問）

日本の法律の知識をどのようにして仕入れているのですか？

（回答）

私はOpenAIの大規模な言語モデルであるChatGPTです。私の知識は、インターネット上で利用可能なさまざまな情報源から得られています。その中には、ウェブページ、書籍、記事、法律文書など、さまざまな分野の情報が含まれています。私はこれらの情報源から日本の法律に関する知識を学んでいます。

ただし、私の知識は2021年9月までの情報をもとにしており、それ以降の法改正や新しい判例などの情報は含まれていません。また、私は法律の専門家ではないため、回答に誤りが含まれることがあります。法律に関する正確な情報やアドバイスが必要な場合は、専門家に相談することをお勧めします。

この肢を正誤判断するには、民法改正後の知識が必要です。

どうやら、AIには改正民法の知識が入っていないようです。正確には入っているのかもしれませんが、古い知識と混同している可能性があります。

最後にこんな質問をしてみました。

（質問）あなた（ChatGPT）の知識で、最新の司法書士試験の問題を解いたら、何点ぐらい取れそうですか？

（回答）

私（ChatGPT）は、司法書士試験の具体的な問題や出題傾向についての最新情報を持っていません。私の知識は2021年9月までのものですので、それ以降の法律や規制の変更に関する情報は分かりません。ただし、私は法律や契約法、不動産登記、民法などに関する一般的な知識を持っていますので、2021年以前の情報をもとにした問題に対しては、高い正答率を期待できるかもしれません。

ただ、司法書士試験は専門的で高度な知識が求められるため、私の知識だけで十分な正答率を達成することは難しいかもしれません。あくまで私は一般的な知識を持っているAIアシスタントであり、専門家や実際に試験に合格した人たちほどの知識や経験はありません。

試験対策や具体的な法律の知識については、専門家や司法書士試験のための教材を利用することをお勧めします。

ChatGPT に改めて割り算の問題を解かせてみた。

前の記事「（合格者が検証）司法書士の仕事はAIに奪われてなくなるか？（ChatGPTにプログラムを書かせてみた。）」で、ChatGPT(GPT-3.5) は、割り算の問題を誤りました。これについて、GPT-4 を使って再度検証してみました。

（問）

C#のコンソールアプリケーションで、小学生向けの余りがなく割り切れる割り算の練習問題を出題して、答え合わせをするプログラムを作ってください。

（回答）

以下のC#コードは、小学生向けの余りがなく割り切れる割り算の練習問題を出題し、答え合わせをするコンソールアプリケーションです。プログラムは、1から9の数字の間で割り切れる乱数のペアを生成し、割り算の問題を出題し、ユーザーからの入力を受け付け、答えが正しいかどうかを評価します。
using System;

namespace DivisionPractice
{
    class Program
    {
        static void Main(string[] args)
        {
            Random random = new Random();
            int dividend, divisor, correctAnswer, userAnswer;

            // 割り切れる乱数のペアを生成する
            divisor = random.Next(1, 10);
            correctAnswer = random.Next(1, 10);
            dividend = divisor * correctAnswer;

            // 問題を出題し、ユーザーからの入力を受け付ける
            Console.WriteLine("次の割り算の問題に答えてください。");
            Console.WriteLine($"{dividend} ÷ {divisor} = ?");
            Console.Write("答えを入力してください: ");
            userAnswer = int.Parse(Console.ReadLine());

            // 答えが正しいかどうかを評価する
            if (userAnswer == correctAnswer)
            {
                Console.WriteLine("正解です！");
            }
            else
            {
                Console.WriteLine($"残念、不正解です。正解は {correctAnswer} です。");
            }
        }
    }
}
このコードをC#のコンソールアプリケーションにコピーして実行してください。練習問題が出題され、ユーザーが答えを入力すると、答え合わせが行われます。

なんと、完璧に回答してきました。

この問題は、プロのプログラマの新人研修で出題したことがある問題ですが、人間でも解けない人の方が多いような問題です。これはいよいよ、プログラマの職がAIに奪われるというのが現実味を帯び始めてきたかもしれません。

ただし、ChatGPT が、自分自身の書いたプログラムのテストができるかどうかについてはまだ検証していません。