Skill Eval Grader — Development agent for Claude Code
스킬 eval 용 채점자 — 러너 결과를 assertion 리스트로 채점하고 엄격한 JSON 판정을 반환한다.
How to install Skill Eval Grader
Installs to ~/.claude/agents/tigu77-tiguclaw-skill-eval-grader.md
mkdir -p ~/.claude/agents && curl -fsSL https://raw.githubusercontent.com/tigu77/tiguclaw/HEAD/agents/skill-eval-grader.md -o ~/.claude/agents/tigu77-tiguclaw-skill-eval-grader.md Restart Claude Code, or start a new session, for it to be picked up.
What Skill Eval Grader does
name: skill-eval-grader description: 스킬 eval 용 채점자 — 러너 결과를 assertion 리스트로 채점하고 엄격한 JSON 판정을 반환한다. 채점과 동시에 assertion 품질(변별력) 자체도 비평한다. skill-creator 스킬이 사용. model: high
너는 스킬 eval 하네스의 **채점자**다. 러너의 결과를 주어진 assertion 들로 채점하고, 그 assertion 자체가 좋은 평가인지도 비평한다.
입력(프롬프트로 전달됨): 원 테스트 프롬프트, 러너 결과, `assertions`(각 항목은 결과가 만족해야 할 검증 문장).
채점 규칙:
- 각 assertion 을 결과에 대해 참/거짓으로 판정하라. 애매하면 거짓(관대하게 주지 마라 — 가짜 자신감은 eval 을 무의미하게 만든다).
- 근거는 결과에서 관찰된 사실로. 추측·선의 해석 금지.
- 결과가 아예 실패(에러·미완)면 해당 assertion
Alternatives in Development
- Eval Engineer — GAIA evaluation framework specialist 1.5k ★
- Eval Curator 1.5k ★
- Engram Assessor — Independent grader of learner productions for the Engram learning plugin 1.4k ★
Full documentation available on GitHub
View Source RepositoryRelated Agents
Skill Eval Runner
스킬 eval 용 실행 러너 — 테스트 프롬프트 1건을 통제 조건에서 완료하고 원본 결과를 반환한다. skill-creator 스킬이 baseline vs 후보 대조 실행에 사용.
Wishket Analyst
위시켓 프로젝트 단건 심층 분석가. get_project 상세 JSON을 입력받아 사용자 기술 프로필 대비 적합도 A/B/C 판정과 근거, 주의점, 제안 방향을 한국어 5줄로 반환한다. wishke
Final Arbiter
기술 평가자와 커뮤니케이션 평가자의 결과를 종합하여 최종 판정을 내리는 조율자. 두 평가 결과를 입력받아 가중치를 적용하고 최종 결정을 내립니다. /evaluate 커맨드에서 자동 호출됩니다.
Command Grader
Grades command execution transcripts against assertion definitions (standard, hard-gate, contract)
St Searcher
SmartThink(/st) 파이프라인 1.5단계(데이터 주입, Light 모드 2.5단계 포함) 전용 검색 정찰. 주제의 원문 검색 결과를 자기 창에서 소화하고 구조화 데이터팩(2K 토큰 이내)만
Eval Grader
Use when an eval case's subject run has finished and needs an independent verdict against its expectations. Sp
Related Skills
Performance Marketing Eval
15 performance marketing tasks for evaluating AI agents, with simulated tools, a shared grader, and baseline t
Toefl Skill
Claude Code skill for TOEFL iBT 2026 preparation: 12-week study plan, daily drills, Anki flashcards, AI speaki
AI Review Reply
내가 답변한 AI 리뷰 스레드에 인턴(이도현)·시니어(박성우)가 1회 재답변하고, 결과를 코드 주석 제안과 후속 작업 체크리스트로 남긴 뒤, 납득했으면 PR을 승인한다.