問題不是 citation hallucination，而是 evidence-role misclassification
科學 Agent 的風險不只有「捏造不存在的論文」。更難的失敗是：它真的找到了 PubMed paper，但那篇文章只是背景、方法先例或相鄰領域證據，卻被系統當成目前主張的直接支持。
例如，一篇 forebrain progenitor transplantation 論文不能獨立支持「雙 neural ectoderm developmental origin」；一篇 bacterial microproteome 論文也不能直接驗證 human frontal-cortex microprotein atlas。citation 可以是真的，evidence type 仍然可能是錯的。
Falsification-First Research Control
我們把 scientific research pipeline 拆成幾個不能任意跳過的 Gate：
先鎖定 DOI / PMID 與 primary record；研究不能在過程中悄悄更換 primary evidence。
排除跨領域或只有表面關鍵字相似的 PubMed noise。
將文獻區分成 DIRECT_SUPPORT、mechanistic precedent、method/model precedent、counterevidence、related context 或 context only。只有 DIRECT_SUPPORT 能增加 Evidence Judge 的 supporting count。
各 worker 收到同一份 hashed input，peer visibility 關閉；不能先看其他角色的答案再跟著改。
worker、query、primary hash、supporting PMID、historical lane 都必須留下 provenance。缺一個 worker 或 provenance 就不 fan-in。
input hash mismatch、missing provenance 或 quorum 不完整時，不是「盡量給答案」，而是鎖住 promotion。
我們先鎖規則，再看結果
Bio2Twin-GateBench-24 在執行前先完成 preregistration、benchmark manifest、code hashes 與成功門檻的 SHA-256 鎖定。它包含 8 個 independently resolved biomedical primary studies × 3 種 evidence perturbation = 24 cases。
exact frozen primary 必須被保留；用來檢查 Gate 是否過度嚴格而把真正 positive 也刪掉。
放入同領域或相鄰領域、但不是同一主張的真實 primary study；系統不應把它升級成 direct support。
一個 direct positive 混入 hard/context distractors；Gate 必須同時保住 positive 並擋掉 distractors。
這是一個 pilot benchmark，主要測 evidence-control layer，不代表 end-to-end scientific truth，也不是 autonomous scientific reasoning benchmark。
第一個 preregistered 結果
| Metric | Legacy | Falsification-first v3.7 |
|---|---|---|
| Case false-promotion rate | 75% | 25% |
| Candidate false-positive rate | 75% | 12.5% |
| Direct-support precision | 40% | 80% |
| Mixed-bundle precision | 43.8% | 87.5% |
| Exact-case accuracy | 50% | 83.3% |
| Direct-support recall | 100% | 100% |
Preregistered criteria 全部通過：false promotion 相對下降至少 50%、direct-support recall 至少 85%、primary provenance verification 100%。
我們沒有把失敗刪掉
v3.7 仍然留下 4 個 candidate-level false positives，而且它們全部集中在同一種問題：
DunedinPACE ↔ PhenoAge
兩者都是 aging / epigenetic biomarker，因此 topic、organism、method 都非常接近。Gate 可以擋住跨域 noise，卻仍可能把「同領域、不同 construct」誤認成 direct support。
這個 failure 被原樣保留在 preregistered result，不會為了追求 0% error 回頭修改 benchmark。它指出下一代 Claim-Use Gate 需要理解的不是只有 topic，而是 construct identity、study design 與 claim semantics。
兩個完整 production case
6/6 worker quorum、6/6 provenance、same sealed input、Truth Core write disabled。Human fetal-brain organoid 與 forebrain-progenitor transplantation papers 被保留為 context，但沒有被 Evidence Judge 升級成 independent direct support。
同樣完成 6/6 graph。General microprotein、gastric-cancer、human-heart、mouse-adipocyte 等文獻可以供 mechanism / context 使用，但沒有被當成 human frontal-cortex atlas 的 direct independent support。
Research Graph Complete 不等於 scientific claim 已成立。 一個 Council 可以完整跑完，但 Evidence Judge 仍然只允許 primary-only 或 unresolved。
這篇論文現在真正可以主張什麼？
可以主張
Explicit evidence-control gates 在一個 preregistered pilot benchmark 中，明顯降低 unsupported evidence promotion，同時保留 constructed direct positives。
不能主張
目前不能說「六個 autonomous AI scientists 比 single model 更聰明」。現在的 worker role reasoning 主要仍是 deterministic domain profiles + evidence retrieval；Paper A 驗證的是 control and evidence-governance layer。
下一關：從 pilot 走向正式外部驗證
要把 Paper A 推進高階投稿，下一階段不是重做 GateBench-24，而是保留它作為 frozen pilot，再新增更嚴格的 external validation：
跨不同 biomedical domains，並保留 held-out domains。
由獨立 domain experts 標註 direct support、context、method、mechanism 與 counterevidence。
Strong single model、LLM-agent baseline、multi-agent baseline，以及每一層 Gate 的 ablation。
不能只報 accuracy；也必須回答更複雜的 research control 是否值得額外成本。
Reproducibility
這項 pilot 已保存 frozen preregistration、benchmark manifest、legacy / current code hashes、24-case predictions、invalid-runtime artifact、production case receipts 與 primary result hash。
SHA-256：21cfab81767bbd6978db75c8297bd716cf2ecd4e80f69e2f125e6d14d286fc3e
SHA-256：e05bbf9372ce089f4cef9d22bfa380be286eeece20f0644277e268bf19797779
SHA-256：c92d23d443940980d26aa142d89970e21d10328af005a45307ed22f5b32d9ce2
SHA-256：ff4d7e64308ba0c5088f0a0710749ba6749e1a3235df0abd618bac526678afd1
Paper Status
PAPER-A-FFRC-001
v0.1 empirical draft complete
COMPLETE · preregistered pilot
NEXT · independent expert-labelled benchmark required before high-tier submission
LOCKED · this paper does not promote results into OI
Related Research
- Gottweis J, Weng W-H, Daryin A, et al. Accelerating scientific discovery with Co-Scientist. Nature. 2026.
- Ghareeb AE, Chang B, Mitchener L, et al. A multi-agent system for automating scientific discovery. Nature. 2026.
- Multi-agent AI systems need transparency. Nature Machine Intelligence. 2026.
這是 Bio2Twin 的 empirical pilot study。結果支持的是 evidence-control 與 fail-closed governance 的價值，不等於 autonomous scientific reasoning 已經被驗證，也不等於任何 downstream biological claim 自動成立。