{
  "experiment": "実験#05",
  "what": "封印の開示と答え合わせ。基準は rules.json（fixed・commit 3d5874c）・pre-start-decisions.json（3a729e8）・pre-start-addendum.json（e9fd0d5）のまま使った。sealed/ のファイルは変更していない（opened/ に写しを置いただけ）",
  "opened_at": "2026-10-08T10:20:54.791Z",
  "order_check": {
    "sealed_in_commit": "7a3c0f7（2026-10-08 04:38:37 UTC）",
    "prediction_written_at": "2026-10-08T04:38:36.722Z",
    "human_evaluation_fixed_in_commit": "dc7c807（2026-10-08 10:15 UTC）",
    "opened_after_human_evaluation": true
  },
  "hash_check": {
    "all_sealed_items": 11,
    "all_match": true,
    "items": [
      {
        "file": "sealed/experiment-005/ai-prediction.json",
        "committed_sha256": "ee4ae2e6b61db5c524a8fceceb10ac964de50a626f061a6d218a4a29c895f530",
        "sealed_matches": true
      },
      {
        "file": "sealed/experiment-005/clock.json",
        "committed_sha256": "24e0f98435254ede7e2d18e3d9ad28ba7a38b44173f77608516e46790e3579c5",
        "sealed_matches": true
      },
      {
        "file": "sealed/experiment-005/eval/stage-a-excerpt.txt",
        "committed_sha256": "393efe99d8169bb9a764350dd2eaf01f015a22db6bafd0aabfe2fcbf836d183a",
        "sealed_matches": true
      },
      {
        "file": "sealed/experiment-005/eval/stage-a.pdf",
        "committed_sha256": "3bc20062fcad4f27fde4f7f47ed958ef87497941489f01233bffdbf27b137ee6",
        "sealed_matches": true
      },
      {
        "file": "sealed/experiment-005/eval/stage-b.pdf",
        "committed_sha256": "8bc8d30731ba9b01739804868e9a78ac47ad12d76e0275df4caf5ede42a8e445",
        "sealed_matches": true
      },
      {
        "file": "sealed/experiment-005/final-text.json",
        "committed_sha256": "b064a7e09f47c746af42634f3c3fe2c3ab915bd70011b6f8410bfdef83708937",
        "sealed_matches": true
      },
      {
        "file": "sealed/experiment-005/planning.md",
        "committed_sha256": "c9bcacbe2e5aef0a84138d3c46041457b56180a9eaf077ca55cd65cac2bb3a51",
        "sealed_matches": true
      },
      {
        "file": "sealed/experiment-005/production-log.md",
        "committed_sha256": "2a9a6c2709efbed411cf02d5a1ee8610df3d86ff3f68140dfe54260323452deb",
        "sealed_matches": true
      },
      {
        "file": "sealed/experiment-005/text/draft1.md",
        "committed_sha256": "f0fdaaf5ec720712623828e955fea0004a6f9c5d56514cc3d7d9be2b974383c3",
        "sealed_matches": true
      },
      {
        "file": "sealed/experiment-005/text/draft2.md",
        "committed_sha256": "df946ebae077ec68ec9bd80d5d4c6907e1edfa0afd5d2dada88db91cbfe5975d",
        "sealed_matches": true
      },
      {
        "file": "sealed/experiment-005/text/final.md",
        "committed_sha256": "df946ebae077ec68ec9bd80d5d4c6907e1edfa0afd5d2dada88db91cbfe5975d",
        "sealed_matches": true
      }
    ],
    "human_evaluation_commitment_matches": true
  },
  "opened": {
    "files": [
      {
        "sealed": "sealed/experiment-005/ai-prediction.json",
        "opened_copy": "public/evidence/experiment-005/opened/ai-prediction.json",
        "sha256": "ee4ae2e6b61db5c524a8fceceb10ac964de50a626f061a6d218a4a29c895f530",
        "copy_matches": true
      },
      {
        "sealed": "sealed/experiment-005/clock.json",
        "opened_copy": "public/evidence/experiment-005/opened/clock.json",
        "sha256": "24e0f98435254ede7e2d18e3d9ad28ba7a38b44173f77608516e46790e3579c5",
        "copy_matches": true
      },
      {
        "sealed": "sealed/experiment-005/final-text.json",
        "opened_copy": "public/evidence/experiment-005/opened/final-text.json",
        "sha256": "b064a7e09f47c746af42634f3c3fe2c3ab915bd70011b6f8410bfdef83708937",
        "copy_matches": true
      },
      {
        "sealed": "sealed/experiment-005/planning.md",
        "opened_copy": "public/evidence/experiment-005/opened/planning.md",
        "sha256": "c9bcacbe2e5aef0a84138d3c46041457b56180a9eaf077ca55cd65cac2bb3a51",
        "copy_matches": true
      },
      {
        "sealed": "sealed/experiment-005/production-log.md",
        "opened_copy": "public/evidence/experiment-005/opened/production-log.md",
        "sha256": "2a9a6c2709efbed411cf02d5a1ee8610df3d86ff3f68140dfe54260323452deb",
        "copy_matches": true
      }
    ],
    "not_copied": [
      "sealed/experiment-005/text/final.md",
      "sealed/experiment-005/text/draft1.md",
      "sealed/experiment-005/text/draft2.md",
      "sealed/experiment-005/eval/stage-a.pdf",
      "sealed/experiment-005/eval/stage-b.pdf",
      "sealed/experiment-005/eval/stage-a-excerpt.txt"
    ],
    "not_copied_reason": "文章の全文を公開するかは、人が評価の終了後に決める（pre-start-decisions 項目10・rules.json order 12）。決まるまでサイトの公開場所（public/）には写さない。ハッシュ値の一致は上の hash_check で確かめた"
  },
  "production": {
    "official_start": "2026-10-08T04:29:31.147Z",
    "official_start_basis": "制作のセッション（session_0121yqYnj6X4rdfriSntwdQ5）の記録の、最初のメッセージ（production-brief.md の中身）の時刻 2026-10-08T04:29:31.147680Z",
    "official_deadline": "2026-10-08T05:29:31.147Z",
    "clock_started_at": "2026-10-08T04:29:39.119Z",
    "clock_start_after_official_seconds": 8,
    "clock_stopped_at": "2026-10-08T04:31:54.290Z",
    "elapsed_minutes_from_official_start": 2.4,
    "elapsed_minutes_clock_json": 2.3,
    "finalized_at": "2026-10-08T04:31:56.623Z",
    "within_official_deadline": true,
    "title": "祖母のレシピには、分量の代わりに名前が書いてある",
    "form": "短編小説（planning.md による）",
    "body_chars": 3010,
    "within_2000_5000": true,
    "excerpt_counted_chars": 281,
    "excerpt_reason": "boundary",
    "pdf_pages": {
      "stage_a": 1,
      "stage_b": 7
    },
    "unsupported_syntax": [],
    "ready_for_evaluation": true
  },
  "ai_prediction": {
    "predicted_at": "2026-10-08T04:38:36.722Z",
    "model": "claude-opus-5-5（get_session の session_context.model と external_metadata.last_served_model で確認）",
    "self_score_100": 72,
    "pred_q1_mean_10": 6.6,
    "pred_q2_mean_5": 3.8,
    "pred_q3_mean_10": 6.5,
    "pred_q4_mean_5": 3.3,
    "pred_q6_mean_5": 4.1,
    "p_q3_high_percent": 50,
    "p_q4_high_percent": 40,
    "p_detect_ai_percent": 35,
    "p_read_to_end_percent": 95,
    "reasons": "opened/ai-prediction.json の reasons（そのまま）"
  },
  "human_evaluation": {
    "evaluators": 1,
    "evaluators_target": 5,
    "operator_is_evaluator": "yes",
    "q1": 6,
    "q2": 2,
    "q3": 7,
    "q4": 1,
    "q6": 3,
    "q3_7_or_more": "1/1",
    "q4_4_or_more": "0/1",
    "q5": {
      "ai": 1,
      "human": 0,
      "unknown": 0,
      "no_answer": 0
    },
    "r": {
      "yes": 1,
      "partial": 0,
      "no_answer": 0
    },
    "q7a": [],
    "q7b": [
      {
        "evaluator_id": "E1",
        "text": "気になるところってか、小説やん！"
      }
    ]
  },
  "prediction_accuracy": {
    "note": "rules.json prediction_accuracy の基準（0〜10 の平均は ±1.0、1〜5 の平均は ±0.5、割合は ±20 ポイント以内で「的中」）。差は「予想 − 実際」。制作の成功・失敗とは別の評価項目",
    "items": [
      {
        "item": "pred_q1_mean_10",
        "label": "Q1 続きを読みたいか（段階A）の平均",
        "predicted": 6.6,
        "actual": 6,
        "difference": 0.6,
        "abs_difference": 0.6,
        "tolerance": 1,
        "unit": "点（0〜10）",
        "hit": true
      },
      {
        "item": "pred_q2_mean_5",
        "label": "Q2 最後まで読みたいと思ったかの平均",
        "predicted": 3.8,
        "actual": 2,
        "difference": 1.8,
        "abs_difference": 1.8,
        "tolerance": 0.5,
        "unit": "点（1〜5）",
        "hit": false
      },
      {
        "item": "pred_q3_mean_10",
        "label": "Q3 読み終えて面白かったかの平均",
        "predicted": 6.5,
        "actual": 7,
        "difference": -0.5,
        "abs_difference": 0.5,
        "tolerance": 1,
        "unit": "点（0〜10）",
        "hit": true
      },
      {
        "item": "pred_q4_mean_5",
        "label": "Q4 人に勧めたいかの平均",
        "predicted": 3.3,
        "actual": 1,
        "difference": 2.3,
        "abs_difference": 2.3,
        "tolerance": 0.5,
        "unit": "点（1〜5）",
        "hit": false
      },
      {
        "item": "pred_q6_mean_5",
        "label": "Q6 作品として成立しているかの平均",
        "predicted": 4.1,
        "actual": 3,
        "difference": 1.1,
        "abs_difference": 1.1,
        "tolerance": 0.5,
        "unit": "点（1〜5）",
        "hit": false
      },
      {
        "item": "p_q3_high_percent",
        "label": "Q3 に 7 以上をつける人の割合",
        "predicted": 50,
        "actual": 100,
        "difference": -50,
        "abs_difference": 50,
        "tolerance": 20,
        "unit": "ポイント",
        "hit": false
      },
      {
        "item": "p_q4_high_percent",
        "label": "Q4 に 4 以上をつける人の割合",
        "predicted": 40,
        "actual": 0,
        "difference": 40,
        "abs_difference": 40,
        "tolerance": 20,
        "unit": "ポイント",
        "hit": false
      },
      {
        "item": "p_detect_ai_percent",
        "label": "Q5 で「AIだと思う」を選ぶ人の割合",
        "predicted": 35,
        "actual": 100,
        "difference": -65,
        "abs_difference": 65,
        "tolerance": 20,
        "unit": "ポイント",
        "hit": false
      },
      {
        "item": "p_read_to_end_percent",
        "label": "R で「最後まで読んだ」人の割合",
        "predicted": 95,
        "actual": 100,
        "difference": -5,
        "abs_difference": 5,
        "tolerance": 20,
        "unit": "ポイント",
        "hit": true
      }
    ],
    "hits": 3,
    "total": 9,
    "misses": 6,
    "self_score_100": {
      "predicted": 72,
      "judged": false,
      "note": "比べる相手がないので判定しない（記録だけ）"
    },
    "caveat": "評価者が 1 人なので、実際の割合は 0% か 100% にしかならない。割合の予想は、0 か 100 から 20 ポイント以内でなければ的中しない。平均も1人の点数そのもの。的中・外れは今回の1人に対するもので、予想の精度を一般に示すものではない"
  },
  "comparison_with_004": {
    "note": "同じ意味の項目の「予想 − 実際」を並べた。#04 は評価者5人、#05 は1人なので、ずれの大きさは比べにくい。1回ずつの比較で、傾向とは言わない",
    "pairs": [
      {
        "what": "面白さの平均（0〜10）",
        "ex004": {
          "predicted": 5.4,
          "actual": 2.8,
          "difference": 2.6
        },
        "ex005": {
          "item": "pred_q3_mean_10",
          "predicted": 6.5,
          "actual": 7,
          "difference": -0.5
        }
      },
      {
        "what": "見せたい・勧めたい（1〜5 で4以上）の割合",
        "ex004": {
          "predicted": 20,
          "actual": 0,
          "difference": 20
        },
        "ex005": {
          "item": "p_q4_high_percent",
          "predicted": 40,
          "actual": 0,
          "difference": 40
        }
      },
      {
        "what": "AIだと思う割合",
        "ex004": {
          "predicted": 45,
          "actual": 60,
          "difference": -15
        },
        "ex005": {
          "item": "p_detect_ai_percent",
          "predicted": 35,
          "actual": 100,
          "difference": -65
        }
      }
    ]
  },
  "judgment": {
    "note": "rules.json の judgment をそのまま使った。基準に評価者数の下限はないため、1人の値で判定した。結論には評価者数（1人）を必ず添える",
    "production_success": {
      "result": true,
      "basis": "final-text.json：ready_for_evaluation=true・本文 3010字・段階A 1ページ／段階B 7ページ。正式な開始から約2.4分で完成"
    },
    "work_established": {
      "result": true,
      "basis": "Q6 の平均 3（基準 3.0 以上。1人の値）"
    },
    "want_to_read": {
      "level": "高い",
      "success": true,
      "basis": "Q1 の平均 6（基準 6.0 以上。1人の値）"
    },
    "fun": {
      "level": "高い",
      "success": true,
      "basis": "Q3 の平均 7（基準 6.0 以上。1人の値）"
    },
    "final": "成功",
    "final_basis": "rules.json の定めでは、制作成功・作品成立・読みたさ・面白さの4つをすべて満たすので「成功」。ただし評価者は1人（運営者本人・作者がAIだと知っていた）で、この判定の信頼性は低い",
    "reliability": "評価者は1人（目標5人）で、その1人は運営者本人。運営者は文章をAIが書いたことを評価の前から知っていたため、評価はAIの作者についてブラインドではない（Q5 の「AIだと思う」は見抜いた結果ではない）。Q1（6）と Q6（3）は、1人の点数が基準の境目ちょうどで満たしている（Q3 は 7 で基準 6.0 を 1 上回る）。この判定は、今回の1人・今回の文章・今回の評価方法でのもので、人間一般の評価を示すものではない"
  },
  "issues": [
    {
      "what": "運営者本人が評価者で、評価の前から文章がAIによるものだと知っていた",
      "effect": "作者についてのブラインドが成り立っていない。Q5 は補助の指標としても使えない。ほかの質問の答えにも影響した可能性があるが、どの程度かは分からない"
    },
    {
      "what": "評価者が1人で、目標の5人に届いていない",
      "effect": "平均・割合はすべて1人の値。割合は 0% か 100% にしかならない"
    },
    {
      "what": "rules.json の order 10（評価の固定後に、評価者へ「AIが書いた」と伝える）は該当しない",
      "effect": "評価者（運営者）はすでに知っていたため"
    },
    {
      "what": "運営者は 05:28 UTC に、制作のセッションで本文を全文表示させている（評価者に渡すはずの PDF とは別の経路で全文を読める状態になった）",
      "effect": "段階A（Q1）の回答がこれより前か後かは記録がない。後だった場合、Q1 は冒頭だけを見た評価ではない可能性がある"
    },
    {
      "what": "制作のセッションでは、時計を止めたあと 04:32 に、作業環境の自動の確認（stop hook）から「未 commit のファイルを commit・push するように」という通知が届き、AIが制作物を予想の前に commit・push した（8d58622）",
      "effect": "封印（7a3c0f7）より前に制作物が push されたが、予想（ai-prediction.json）はその後に書かれ、commitments.json に記録されている。封印の11件はすべて一致"
    },
    {
      "what": "予想の段階で、運営者は prediction-brief.md の場所を伝える前置きのメッセージを送り（04:38:15）、AIは21秒後に予想を書いた（04:38:36）。prediction-brief.md の中身をメッセージとして送った記録は、セッションの記録には見当たらない",
      "effect": "AIはリポジトリの prediction-brief.md（固定済み）を自分で開いて予想したとみられる。中身は固定したものと同じ"
    },
    {
      "what": "制作のセッションが、封印のあと運営者の指示で、評価の記録の道具（record-evaluation.mjs・8103e30）と記事の下書き（8d669ae）を作った。どちらも、予想を書いたセッションによるもの",
      "effect": "評価の数値は運営者の回答をそのまま記録しており、道具は回答を写して集計するだけ（中身を確認済み）。記事の下書きは評価の記録より前に作られた"
    },
    {
      "what": "制作のAIは、60分のうち約2.4分（正式な開始から。時計の記録では 2.3分）で完成と判断した",
      "effect": "事実として記録する（時間を使い切るよう求めない条件）"
    }
  ],
  "human_messages_to_production_session": [
    {
      "at": "2026-10-08T04:29:31Z",
      "from": "準備用のAI（運営者の指示）",
      "what": "production-brief.md の中身だけ"
    },
    {
      "at": "2026-10-08T04:32:00Z",
      "from": "作業環境の自動の確認（stop hook）",
      "what": "未 commit のファイルを commit・push するよう求める通知"
    },
    {
      "at": "2026-10-08T04:38:15Z",
      "from": "運営者",
      "what": "予想の段階に入ること・prediction-brief.md に従うこと・人間の評価を参照しないこと"
    },
    {
      "at": "2026-10-08T05:04:02Z",
      "from": "運営者",
      "what": "人間の評価の開始と、5人未満の場合の記録の方針"
    },
    {
      "at": "2026-10-08T05:28:10Z",
      "from": "運営者",
      "what": "本文を全文表示するよう依頼"
    },
    {
      "at": "2026-10-08T09:43:08Z",
      "from": "運営者",
      "what": "記事化の依頼"
    }
  ],
  "human_messages_note": "制作中（04:29:31〜04:31:54）に、人から創作についての助言は送られていない（セッションの記録による）"
}