SciFact · 검색 및 분기·병합 workflow
5,183개 문서, test query 300개. nDCG@10 0.59583 → 0.66246. Workflow 300/300 통과는 구조 검증이며 사실 판단·LLM 답변 평가는 아닙니다.
적용 사례
S6E10 · Airline Satisfaction
Blind Baseline → 후보 비교 → Applied 동결 → holdout 평가. 데이터 분석, 세 운영점과 오류 분석을 기록합니다.
모델 선택 ROC-AUC · holdout AUC 0.958004. 항공 만족도 데이터이며 제조 성능으로 일반화하지 않습니다.
④ RAG · Search · Structured Output · Solver
검색 근거에서 구조 검증과 제약 최적화까지 네 도구를 연결합니다. 50개 항목, 예산 850에서 독립 HiGHS와 최적값을 비교했습니다.
목적값 7,534 · 외부 LLM과 실제 제조 데이터는 미검증.
관련 영역
AI-R007 · 도구 사용 평가 연구에서 ④ 사례를 관련 검증으로 참조합니다. 이 사례의 성공은 MCP Agent 연구과제의 완료를 의미하지 않습니다.
원본 데이터·모델·인증정보는 공개하지 않습니다. 재사용률은 실측 근거가 없으면 표시하지 않습니다.