Claude Code作成のPHP問題を403問実行、書き出しの違いで10問が漏れた結果

Claude Code作成のPHP問題を403問実行、書き出しの違いで10問が漏れた結果
※本ページはプロモーションが含まれています

Claude Code作成のPHP問題を403問実行して検証した結果、書き出しの違いで10問が照合対象から漏れていたことが分かりました。 PHPコードを実行して正解と比べる仕組みは、問題の品質を確認するうえで有効ですが、判定条件の小さな違いが見落としにつながることもあります。検証の流れや数字の読み方、同じ漏れを防ぐ方法を整理します。

目次

Claude Codeで作成したPHP問題と検証の前提

今回の検証対象は、Claude Codeを使って作成したPHP初級向けの問題集です。問題のうちコードを含むものを抽出し、ローカル環境のPHPで実行して、登録された正解と結果が一致するかを調べました。ここで重要なのは、問題を作ったことと、正しさを検証したことを同じ扱いにしない点です。

コードの出力を問う問題は、選択肢や解説を読むだけでは、PHPのバージョンによる挙動差や、実際に出力される空白・改行まで確認できません。一方で、すべての問題を単純にPHPファイルとして実行できるわけでもありません。ウェブサーバーが必要なコードや、実行結果ではなく理由を答える問題は、別の検証方法が必要です。

問題作成時には、生成された問題をすぐ公開せず、人の確認を経てから確認済みにする運用も大切です。自動検証は人の確認を置き換えるものではなく、実行できる問題を機械的に点検し、誤りや見落としを発見しやすくする補助として使います。

PHP問題を実行する検証コマンドの流れ

検証では、コードを含む問題を1問ずつ確認し、実行可能な種類と対象外の種類に振り分けます。実行する場合は、一時ファイルにPHPコードを書き出し、別プロセスで実行します。実行結果だけでなくエラーも取得し、登録された正解と比べることで、実際の挙動を確かめます。

穴埋め問題は、正解の選択肢だけでなく、すべての選択肢を空欄に入れて実行するのがポイントです。正解を入れた場合に期待する出力になるかに加え、誤答の選択肢でも同じ結果にならないかを調べます。後者を省くと、複数の選択肢が正解になってしまう問題を見逃す可能性があります。

問題の種類 検証方法 注意点
出力を問う問題 PHPで実行し、正解の文字列と照合 前後の空白など比較条件を明確にする
穴埋め問題 選択肢を1つずつ入れて実行 正解が1つだけか確認する
ウェブ環境が必要な問題 通常のCLI実行では対象外 サーバーやリクエストの再現が必要
説明や理由を問う問題 出力文字列との比較はしない 人による内容確認など別手段を使う

穴埋め問題は正解が1つだけか確認する

穴埋め問題の自動検証では、正解として登録した選択肢が期待する出力になるかを確かめるだけでは不十分です。誤答として登録した選択肢も同じように実行し、期待する結果と一致するものがほかにないか調べます。プログラムの書き方によっては、異なる選択肢でも同じ出力になることがあります。

たとえば、条件式の書き方や型変換の影響により、意図した正解以外のコードでも同じ結果を返すケースが考えられます。受験者から見ると、どちらを選んでも正しいように見えるため、問題の公平性に関わります。選択肢を一つずつ試す方法は、このような複数正解の可能性を確認するのに役立ちます。

ただし、自動比較で一致した選択肢が複数ある場合も、ただちに問題の誤りと断定せず、設問の意図や期待値の設定を確認します。出力の比較対象が適切か、問題文が別の解釈を許していないかも合わせて点検することが重要です。検証コマンドの結果を人が読み、必要なら問題文や選択肢を修正する流れを用意しましょう。

403問の実行結果と対象外の問題

検証コマンドを修正した後の集計では、403問が期待する結果と一致し、不一致は0件、対象外は30件となりました。修正前は396問が一致し、不一致は0件、対象外は37件でした。修正後に照合できる問題が7問増えた一方、対象外として残った問題もあります。

この数字は、対象となったすべてのPHP問題の品質を完全に証明するものではありません。403問はコマンドが実行して比較できた問題であり、対象外の30問まで同じ方法で確認したわけではないためです。また、不一致が0件という結果も、判定ロジックの条件が適切であることを別途確認してはじめて意味を持ちます。

集計時点 一致 不一致 対象外
修正前 396問 0問 37問
修正後 403問 0問 30問

集計を見るときは、実行件数だけでなく、何を対象外にしたのかも確認しましょう。対象外の理由が明確なら、次に必要な検証方法を判断できます。反対に、対象外の分類が曖昧だと、数字の見た目だけでは品質を評価できません。

書き出しの違いで10問が漏れた原因

漏れの直接の原因は、問題文の冒頭が特定の定型文で始まるかどうかだけで、出力問題かどうかを判定していたことです。問題文の書き出しが別の表現になっていると、内容としてはPHPの出力を尋ねていても、検証コマンドは対象外と判断していました。

書き出しが異なる問題は合計13問見つかりました。そのうち3問は、出力ではなく実行結果の理由や説明を答える形式で、文字列の出力と正解選択肢を比べる方法には適していません。残る10問は出力を問う問題でしたが、修正前の判定条件に合わず照合から漏れていました。

判定条件を見直した結果、その10問のうち7問が自動照合の対象となり、7問すべてで正解との一致を確認できました。残る3問は、通常の一時ファイル実行では同じ環境を再現できないなど、別の理由で対象外となりました。つまり、漏れを修正する際は、単に対象を増やすのではなく、実行可能性も一緒に判断する必要があります。

自動検証で見落としやすい条件と改善策

問題文の書き出しだけで分類すると、言い換えや表現の違いに弱くなります。今回のように、同じ出力問題でも冒頭の文言が変わるだけで照合から外れることがあります。文章の完全一致を避け、設問の意図をより安定して判定できる条件にすることが改善の第一歩です。

一方で、判定を広げすぎると、本来は実行すべきでない問題まで処理し、誤った結果を出す恐れがあります。たとえば、ウェブリクエストに依存するコードや、ターミナル上のコマンドそのものを問う問題は、単純なPHPファイルとして実行しても正しい再現になりません。対象外にする条件と、その理由を記録しておくことが大切です。

検証コマンドに追加したいテスト

問題文の表現だけを変えたテストや、実行環境の違いを含むテストを用意すると、分類ロジックの変更による漏れを発見しやすくなります。特に、次のようなケースを一つずつ確認すると実用的です。

  • 出力を問うが、定型の書き出しとは異なる問題
  • 説明や理由を答えるため、自動の文字列照合が適さない問題
  • php://inputなど、HTTPリクエストの内容に依存するコード
  • ターミナルで実行するコマンドを含む問題
  • __FILE__など、実行ファイル名によって出力が変化するコード
  • 穴埋めで、誤答の選択肢も期待する出力になるケース

これらのテストは、一度追加すれば終わりではありません。問題の形式や検証ロジックを変更するたびに再実行し、以前は対象外だった問題が誤って実行対象になっていないか、反対に実行できる問題が再び漏れていないか確認します。

DBの同期と対象外問題の管理も重要

実行結果を正しく集計するには、検証に使うデータが最新であることも欠かせません。今回の確認では、問題データのJSONと照合用の手元のデータベースに差があり、JSONには存在する5問がデータベースに入っていないことが分かりました。検証コマンドに問題がなくても、古いデータを使っていれば、その問題は集計に含まれません。

そのため、検証前には、対象データの件数や更新日時、問題IDの差分を確認するのが安全です。JSONを正本として使うなら、検証前にデータベースを同期する手順を定めます。データを複数の場所に保管している場合は、どのデータを基準にした結果なのかも記録しておきましょう。

また、対象外の問題は、未確認のまま放置せず、理由ごとに分類すると管理しやすくなります。ウェブサーバーでの確認が必要なのか、説明文の人手レビューが必要なのかで、次に取るべき対応は異なります。自動実行の対象件数だけでなく、対象外の内訳と確認状況まで追えるようにすることが、継続的な品質管理につながります。

年1回のPHP問題見直しで確認すること

PHPのバージョンや問題データは時間とともに変わります。検証コマンドを年1回など定期的に実行すれば、以前は正しかったコードが新しい環境でどう動くかを確かめる機会になります。ただし、実行結果が一致したからといって、問題文の分かりやすさや選択肢の妥当性まで保証されるわけではありません。

定期点検では、PHPのバージョン、実行環境、使用した問題データの版、実行件数、一致・不一致・対象外の数を記録します。結果に変化があった場合は、PHPの仕様変更なのか、問題データの更新なのか、判定条件の変更なのかを切り分けられます。記録があれば、前年との比較もしやすくなります。

運用時は、検証コマンドの終了結果だけを見るのではなく、対象外の一覧を確認して人によるチェックへつなげることが大切です。自動化できる範囲を明確にし、できない部分は別の確認手順で補う。この組み合わせが、Claude Codeで作成したPHP問題を継続的に見直すうえで現実的です。

まとめ

Claude Codeで作成したPHP問題を403問実行して照合した検証では、修正後に403問が一致し、不一致は0件、対象外は30件となりました。修正前は396問が一致し、37問が対象外だったため、判定条件の見直しによって7問を新たに照合できました。

見落としのきっかけは、問題文が特定の書き出しで始まるかどうかに頼った分類です。出力を問う問題でも表現が異なれば対象外になるため、判定条件だけでなく、書き出しの異なる問題を含むテストも用意する必要があります。

さらに、穴埋めでは正解が一つだけか、対象外の問題にはどんな確認が必要か、検証用DBは最新か、といった点も確認しましょう。自動実行の結果と人によるレビューを組み合わせ、対象外の理由まで管理することが、PHP問題集の品質を保つための実践的な方法です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

ご質問はコメント欄からお願いします

コメントする

目次