Replication Audit — Security skill for Claude Code

replication-audit

**让论文的复现包在任何电脑、任何 AI agent 上跑出同样的结果，并帮你发现数字、样本和图表里的可疑之处。**

面向经济学、管理学及其他实证研究的复现包审计 skill（v0.3，Python 为主，兼有 Stata/R 静态扫描）。 遵循通用的 `SKILL.md` 格式，可用于 Claude、Codex CLI、Gemini CLI、Cursor 等支持 Agent Skills 的工具，也可以不借助任何 agent，直接当命令行脚本用。

English summary: a standard-library-only toolkit (Python ≥ 3.11) packaged as an Agent Skill. It scans Python/Stata/R code for non-reproducibility, runs a replication package in controlled and perturbed environments, stores a baseline, re-checks results across machines/agents, traces pandas sample-size changes, verifies numbers printed in a paper against outputs, and flags orphan files, AI-generation markers in figure metadata, and mismatches with an AI-use declaration. All pass/fail decisions are made by scripts, not by the LLM. See "Honest limits" below.

---

为什么做

AI 让写代码和出图变得很快，也让一类问题变得更隐蔽：代码能跑但结果不对，表里的数字和代码输出对不上，样本在某一步悄悄变少，图表来源说不清。 人工逐项核对既慢又容易漏，而让 AI 自己检查自己，结论又会随模型和环境变化。

本项目的思路是：**让脚本做判定，让 agent 只负责调度和解释。** 判定由固定的、可复核的代码给出，同一个复现包换电脑、换 agent，结论不变。

它做什么

能力	说明
静态扫描	Python / Stata / R：未设随机种子、绝对路径、merge 不校验、m:m、except: pass、结果变量被硬编码、ssc install 等共 39 条静态规则（另有样本流、表格自洽、溯源与披露类检查）
基线与重跑	在两个干净副本里各跑一遍，一个受控、一个扰动（不同哈希种子、线程数、时区、含空格的路径）。两次不一致就拒绝保存基线（UNSTABLE）
跨机器核对	把整个文件夹拷到另一台电脑或另一个 agent 上运行 check；也可只比对别处产出的结果（--outputs）
容差比对	计数必须完全一致，系数用相对容差；基线里锁定容差，改 repro.toml 放宽容差不能让检查过关
样本流追踪	记录 pandas 每一步 merge/dropna/query/筛选前后的行数，提示"merge 后行数变多""某步丢了超过 20% 样本"，并要求与基线一致