확인한 범위
- 현재 State snapshot을 RAG·history와 분리하고 충돌 시 최신 상태를 우선합니다.
- State·RAG·History 입력 크기와 구성 메타데이터 계측 코드가 있습니다.
- 고정 fixture에서 최신 상태와 필요한 근거의 보존 여부를 비교했습니다.
- 동일 문자 상한에서 lexical과 1-hop graph 후보를 비교했습니다.
CHO-FAM Study · Evidence log
AI Research
AI 기술 후보를 제품의 연구질문으로 바꾸고, 선정 근거·구현·합성 실험·운영 검증을 서로 다른 증거 수준으로 기록합니다.
Selected research
State·RAG·History 메모리
현재 상태와 과거 근거를 어떤 권한과 컨텍스트 예산으로 분리해야 오래된 정보의 오적용과 근거 누락을 줄일 수 있는지 연구합니다.
아직 확인하지 않은 범위
- 실제 모델과 벡터 검색의 답변 정확도
- 장기 이야기와 캐릭터 일관성
- provider 토큰, 지연, 운영 비용
- 실제 graph 저장소 도입 효과와 운영 복잡도
Synthetic evidence
현재까지의 실험 근거
아래 수치는 실제 서비스 성능이 아니라 고정된 합성·결정론적 조건의 정보 보존 결과입니다.
| 실험 | 관측 | 해석 제한 |
|---|---|---|
| 현재 상태 조회 | 100회 갱신에서 lexical top-3 28/100, 명시적 최신 State 100/100 | lexical 동률이 오래된 사실을 우선하는 대리 조건이며 실제 hybrid retrieval 비교가 아닙니다. |
| 정보 가용성 분리 | State는 최신 사실을 보존했고, 명시적 graph traversal은 fixture의 과거·의존 근거를 보존했습니다. | oracle ID와 작성자가 만든 링크를 사용했으며 모델 답변 품질을 측정하지 않았습니다. |
| 동일 문자 상한 비교 | 600/1000/1600자 상한에서 graph 완전 근거 300/400, lexical은 120/400–200/400. 모든 조건의 현재 상태는 400/400. | 존재하지 않는 근거 100개가 포함돼 fixture 상한은 300/400입니다. 실제 사용 길이와 비용은 동일하지 않습니다. |
| 회귀 검사 | 20개 seed, 5개 checkpoint, 3개 예산·조건의 3,600행과 회귀 검사 4개를 재현했습니다. | 20개 seed를 독립적인 실제 이야기 20개로 해석하지 않습니다. |
현재 결정
State와 RAG의 역할 분리는 유지합니다. graph 제품 도입은 실제 모델·검색·품질·비용을 비교하기 전까지 결정하지 않습니다.
Timeline
진행 이력
과거 선정 기록과 저장소에서 확인한 수행 근거를 구분합니다.
| 날짜 | 진행 | 증거 수준 |
|---|---|---|
| 2026-09-24 | 5개 후보 중 AI-R002 실험 진행을 선정하고 현재 State와 검색 근거의 권한을 분리 | 선정 기록 복원 · 제품 코드 구현 확인 |
| 2026-10-01 | 20개 합성 시나리오의 정보 가용성 평가와 1-hop graph 시제품을 병합 | 결정론적 합성 평가 |
| 2026-10-02 | 동일 문자 상한의 State·lexical·graph 비교와 회귀 검사 수행 | 3,600행 합성 평가 · 운영 graph 미도입 |
| 2026-10-04 | 제품 검증을 위한 VN 초안 테스트 환경을 연결 | 환경 구축 · 메모리 성능 입증 아님 |
| 2026-10-06 | 후보·진행이력·독립 과제 문서를 정리하고 기존 실험을 재실행 | 기록 수치 재현 · 새 운영 데이터 없음 |
Next validation
다음 단계
합성 결과를 운영 효과로 바꾸지 않고, 제품 도입 결정을 위한 증거를 단계적으로 추가합니다.
평가셋 확장
- 모순된 lore, 인물 간 사건, 장기 의존 사슬을 포함합니다.
- 정정·삭제·누락 근거의 실패 동작을 고정합니다.
- 이야기 품질과 정보 가용성을 별도로 채점합니다.
실제 시스템 비교
- 동일 query·checkpoint·예산에서 실제 vector 검색과 graph를 paired 비교합니다.
- 모델·prompt·decoding을 고정합니다.
- provider 토큰·지연·품질·비용을 측정한 뒤 graph 도입 여부를 결정합니다.