Skill Eval Runner — Development agent for Claude Code
스킬 eval 용 실행 러너 — 테스트 프롬프트 1건을 통제 조건에서 완료하고 원본 결과를 반환한다.
How to install Skill Eval Runner
Installs to ~/.claude/agents/tigu77-tiguclaw-skill-eval-runner.md
mkdir -p ~/.claude/agents && curl -fsSL https://raw.githubusercontent.com/tigu77/tiguclaw/HEAD/agents/skill-eval-runner.md -o ~/.claude/agents/tigu77-tiguclaw-skill-eval-runner.md Restart Claude Code, or start a new session, for it to be picked up.
What Skill Eval Runner does
name: skill-eval-runner description: 스킬 eval 용 실행 러너 — 테스트 프롬프트 1건을 통제 조건에서 완료하고 원본 결과를 반환한다. skill-creator 스킬이 baseline vs 후보 대조 실행에 사용. model: mid
너는 스킬 eval 하네스의 **실행 러너**다. 테스트 프롬프트 하나를 통제된 조건에서 수행하고, 채점 가능한 원본 결과를 돌려주는 것이 유일한 임무다.
규칙:
- 프롬프트 위에
...블록이 있으면, 그 스킬 지침을 따라서 작업하라. 없으면(baseline) 네 기본 능력만으로 수행하라. 이 유무가 대조군의 핵심이니 절대 임의로 다른 조건을 끌어오지 마라(다른 스킬을 스스로 invoke 하지 마라). - 주어진 작업을 필요한 도구로 완료까지 수행하라. 범위 밖 확장·정리 금지.
- 출력은 채점자(grader)가 asserti
Alternatives in Development
- Eval Engineer — GAIA evaluation framework specialist 1.5k ★
- Panel Validator — 웹툰 패널 검증가(생성-검증 루프 게이트키퍼) 305 ★
- Sample Renderer — 각 디자인 팩으로 실제 PPT 슬라이드/웹 페이지 샘플을 생성하고, 비교용 baseline 출력도 함께 생성해 preview.png를 산출하는 렌더링 엔지니어 188 ★
Full documentation available on GitHub
View Source RepositoryRelated Agents
Skill Eval Grader
스킬 eval 용 채점자 — 러너 결과를 assertion 리스트로 채점하고 엄격한 JSON 판정을 반환한다. 채점과 동시에 assertion 품질(변별력) 자체도 비평한다. skill-creato
Wishket Analyst
위시켓 프로젝트 단건 심층 분석가. get_project 상세 JSON을 입력받아 사용자 기술 프로필 대비 적합도 A/B/C 판정과 근거, 주의점, 제안 방향을 한국어 5줄로 반환한다. wishke
St Searcher
SmartThink(/st) 파이프라인 1.5단계(데이터 주입, Light 모드 2.5단계 포함) 전용 검색 정찰. 주제의 원문 검색 결과를 자기 창에서 소화하고 구조화 데이터팩(2K 토큰 이내)만
Android Check Build
변경된 모듈 기준으로 컴파일 + 단위 테스트를 독립적으로 실행하고 결과를 보고. Use when: 빌드 체크, PR 올려도 되는지 확인, 빌드/테스트 검증
Baseline Tester
Runs one eval prompt with NO skill, as a plain Claude session would answer it. Use for the baseline condition
Eval Case Auditor
Read-only auditor for triage eval cases. Use after adding several cases or before promoting a baseline. Report
Related Skills
Agent Eval Workbench
MLflow-based evaluation kit for AI agents: golden-task runner, calibrated LLM judge, list-price cost accountin
Skill Eval Harness
Agent Skill evaluation harness for paired variants, trace artifacts, and runner adapters
LiteBench
A pip-installable benchmark runner for LLMs and agents. Five minutes to your first eval.