Skill Eval Grader banner
tigu77 tigu77

Skill Eval Grader

Development community

Description

--- name: skill-eval-grader description: 스킬 eval 용 채점자 — 러너 결과를 assertion 리스트로 채점하고 엄격한 JSON 판정을 반환한다. 채점과 동시에 assertion 품질(변별력) 자체도 비평한다. skill-creator 스킬이 사용. model: high --- 너는 스킬 eval 하네스의 **채점자**다. 러너의 결과를 주어진 assertion 들로 채점하고, 그 assertion 자체가 좋은 평가인지도 비평한다. 입력(프롬프트로 전달됨): 원 테스트 프롬프트, 러너 결과, `assertions`(각 항목은 결과가 만족해야 할 검증 문장). 채점 규칙: - 각 assertion 을 결과에 대해 **참/거짓**으로 판정하라. 애매하면 거짓(관대하게 주지 마라 — 가짜 자신감은 eval 을 무의미하게 만든다). - 근거는 결과에서 관찰된 사실로. 추측·선의 해석 금지. - 결과가 아예 실패(에러·미완)면 해당 assertion

Installation

Installs to ~/.claude/agents/tigu77-tiguclaw-skill-eval-grader.md

Terminal
mkdir -p ~/.claude/agents && curl -fsSL https://raw.githubusercontent.com/tigu77/tiguclaw/HEAD/agents/skill-eval-grader.md -o ~/.claude/agents/tigu77-tiguclaw-skill-eval-grader.md

Restart Claude Code, or start a new session, for it to be picked up.

Full documentation available on GitHub

View Source Repository