CHO-FAM · 1개월차 4주차 기록일: 2026-10-12 (Asia/Seoul) 근거: 이번 주 대화형 학습. 실제 벤치마크 결과가 아닌 설계 판단과 적용 가설. 학습계획 · 1개월차 회고 · 개선 제안 목록
변경의 효과를 우연·표본 편향·평가 누수와 구분하고, 어떤 범위에서 채택할지 재현 가능한 근거로 판단할 수 있는가?
대화에서 도출한 가설: 문제의 목표와 제약을 유지하면서 필요한 해결 구조를 선택·조정하는 접근은, 모든 문제를 처음부터 복합적으로 처리하는 접근보다 품질을 유지하며 비용과 결과 왜곡을 줄일 수 있다. 이는 검증할 가설이며 개선이 입증됐다는 결론이 아니다.
모든 프로세스를 Agent에 담지 않는다. 사람의 조직·책임·전결권과 기존 업무 절차는 기존 시스템에서 담당한다. Agent는 조사·분석·초안 등 지정된 구간을 담당하며 기존 절차에 인계하고 결과를 받는다.
내용 검토자와 승인자는 각각 여러 명일 수 있다. 조직 권한에 따른 필수 검토·승인을 보존해야 하며 사람 단계 증가를 곧바로 비효율로 판정하지 않는다. Orchestrator는 Agent 작업 상태를 관리하고 공식 업무·결재 상태의 원천은 기존 시스템이다. 내용 확정, 승인, 실행 완료, 사용자 수용은 별도 상태다.
구매·견적은 학습 예시다. CHO-FAM 전체 업무나 House의 모든 기능을 대표한다고 가정하지 않는다.
전체 업무 결과와 하위 단계·도구 호출을 구분한다. 처리 속도뿐 아니라 업무 목적 달성, 담당자 유용성, 검토·수정 노력, 최종 수용과 전체 시간·비용을 측정한다. 수정 증가가 중요한 문제 발견 때문인지 부정확한 산출물의 재작업 때문인지 구분한다.
개선이 일반 구매에서만 확인된다면 일반 구매에 한정한다. 대상 구분이 불가능하면 Candidate를 적용하지 않고 기존 방식 또는 담당자 확인으로 인계한다. 적용 대상 판별의 오류와 fallback 비용도 평가한다.
전체 효과는 업무 비중으로 판단한다. 건수·시간·비용 중 목적에 맞는 가중치를 사전에 정하고 업무 유형별 결과도 함께 보고한다. 실제 비중이 없으면 가정에 따른 분석으로 표시한다. 드문 중대 오류를 평균 개선으로 숨기지 않는다.
같은 사례의 반복은 새 독립 사례가 아니다. 사례 단위 짝 비교와 사례 클러스터 기반 불확실성 분석을 사용한다. 개발에 사용한 사례와 미사용 평가 사례를 분리하고, 업무 요구·권한·판단 구조의 차이를 확인해 일반화 범위를 정한다.
위험 원인과 발생 시점, 발견 시점을 구분한다. 기존 위험의 발견, Candidate가 만든 위험, 외부 조건 변화는 다르게 해석한다. 로그·트레이싱으로 최초 분기 지점과 입력·도구·캐시·재시도·timeout의 영향을 확인한다.
사용자의 중단 조건: 1. 사용자 거절 2. 사전 기간·표본 완료 후 개선효과 미입증 3. 허용 수준을 넘는 개악 확인
거절의 영향 범위와 사유를 기록한다. 개선 미입증과 효과 없음의 입증은 다르지만 둘 다 채택하지 않는 근거가 될 수 있다. 시작부터 근거가 부족한 파일럿에서는 미입증 판단 시점을 먼저 정한다. 유리한 중간 결과만 보고 종료하지 않는다.
로그·설정·원시 결과·평가 버전을 통해 재현성을 확보한다. LLM 답변의 완전 동일성을 전제하지 않으며 동일 원시 데이터에서 요약과 결정을 재생성할 수 있어야 한다.
| 요구되는 구조 | 검토할 접근 |
|---|---|
| 충분한 정보로 직접 해결 가능 | 직관적·직접적인 해결 |
| 하위 문제와 순서를 정의해야 함 | 분할 및 단계적 해결 |
| 하위 문제 간 상호 영향과 반복 조정이 필요 | 복합적인 상호작용 해결 |
이는 설계상의 구분이며 별도 Agent 수나 고정 구현 클래스를 강제하지 않는다. 복합적 접근이 항상 낫지 않다. 간단한 문제의 비용 증가와 불필요한 가정·중간 해석에 따른 왜곡을 평가한다.
충돌을 발견하면 문제·목표·제약은 유지하고 높은 단계의 해결 구조를 검토한다. 유효한 결과는 재사용하고 영향받는 부분을 재계획한다. 전환 규칙도 실험 전에 정의하며 적시 전환과 과잉 전환을 평가한다.
권장안과 최적안 후보를 비교한다. 최적성은 품질·시간·비용·위험에 대한 목적과 제약에 의존한다. 각 방안의 장점을 부분 채택한 결합 추천안은 새로운 Candidate로 검증한다.
연결부에서 입력·출력 계약, 제약·근거·미해결 사항 보존, 전환 누락·중복·순환, 잠정 결과의 확정 오인을 사전 확인하고 전체 실행도 검증한다. 확정 기준과 책임 주체, 상태·자료 버전을 명시한다.
확정 이후 자료 변경은 영향을 재확인한다. 영향 없음은 근거를 남겨 유지하고, 일부 영향은 의존하는 후속 단계까지 재검증하며, 불명확하면 관련 사용을 보류한다. 승인에 영향이 있으면 기존 조직 규정에 따라 재승인을 판단한다.
적용할 수 없는 요구사항과 반례가 나타나면 범위 제한, 전환 규칙 수정 또는 가설 기각을 검토한다. 해당 반례뿐 아니라 새로운 사례의 효과와 기존 성공 사례의 회귀를 확인해 전반적인 품질을 평가한다.
복합적인 트레이드오프는 사용자 의사결정이 필요하다. 이득·손실·불확실성과 부분 채택·보류·기각의 추천 이유를 제시한다.
최저 기준 미충족을 일률적으로 제외하지 않는다. 예외가 가능한 기준은 리스크 품의 또는 상위 권한자의 판단 대상으로 삼고, 예외 불가 기준은 일반적인 사용자 수용으로 넘기지 않는다. 이는 특정 예외의 승인이나 실제 운영 적용을 의미하지 않는다.
예상과 실제 효과·위험을 지속 모니터하고 정기적으로 운영 지속 여부를 승인받는다. 승인 범위·조건·기간·보완 조치와 지속·수정·중단 결정을 기록한다. 허용 범위를 벗어나거나 중요한 조건이 바뀌면 정기 주기 전에도 재검토한다. Agent는 근거 정리와 모니터링을 지원하고 품의·승인은 기존 시스템에서 수행한다.
확인된 결과는 위의 설계 판단, 적용 범위·중단 기준, 기준 이력관리, 단계적 해결·연결 계약, 사용자 의사결정 및 재승인 원칙이다. WORK 진행 지시와 개선 제안 목록 유지 요구도 정리했다.
대화에서 나온 성능 표·유용성 상승·시간 감소·신뢰구간은 가상 학습 상황이다. 실제 원시 로그, 30-case 평가, bootstrap CI, 담당자 평가, 모델 비용 또는 House 코드 개선·운영 배포를 이 리포트의 실측 성과로 주장하지 않는다. 교재 지정 범위 완독도 확인하지 않았다. 다른 작업의 실행 여부는 해당 커밋·원시 증거를 확인해야 한다.
학습 운영상의 완료·미진행분 비이월 원칙은 실증 결과와 구분한다. 다음 주 과제나 보충 시간을 추가하지 않는다.
결론: CHO-FAM의 변경은 기존 조직·시스템 경계를 보존한 비교 실험으로 평가하고, 범위별 효과와 위험을 제시해 채택을 결정하며, 기준 변경과 운영 결과에 따라 재평가·재승인한다.
원본: 저장소 문서 · 공개 사본 갱신: 2026-10-12