연구 프로젝트: Terra
LLM·RAG·Agent·Tool·Workflow·Multi-Agent 평가와 관측을 통합한다.
주 9시간, 4주 총 36시간. 앞선 월의 산출물을 입력으로 사용하며 실제 완료 여부는 주간 회고에서 확인한다.
| 주 | 과목 | 연구 질문 | 산출물 | 상태 |
|---|---|---|---|---|
| 37 | Evaluation Dataset | 평가 데이터와 개발 데이터를 어떻게 분리하는가? | 버전 관리 평가 세트·채점 기준 | 예정 |
| 38 | Layered Evaluation | 검색·생성·도구·오케스트레이션 실패를 구분하는가? | 계층별 평가 실행기 | 예정 |
| 39 | Observability | 실패 원인과 호출 비용을 추적할 수 있는가? | Terra trace·지표 대시보드 | 예정 |
| 40 | Regression · LLMOps | 변경 후 성능 저하를 어떻게 탐지하는가? | CHO-FAM AI Evaluation Framework | 예정 |
사용 원칙: O’Reilly를 주교재 플랫폼으로 삼고, Manning은 Agent·LLM 심화 참고자료로 선택한다. 논문·공식문서는 연구 세미나 자료로 읽으며, CHO-FAM 저장소에서 구현과 실험으로 검증한다.
AI Agents in Action, 2e의 evaluation·production 관련 장
LLM evaluation·observability 관련 원 논문
Google SRE Books, OpenTelemetry 공식 문서, CHO-FAM Terra 설계
공식 목차 확인: 2026-09-15. Chapter 번호는 T1~T8의 영문 판본 기준이다. 아래 배치는 CHO-FAM 과목에 맞춘 학습 계획이며 출판사의 권장 순서는 아니다. 집중 범위는 학습용 요약으로, 원문 장 제목이 아니다.
주교재 지정 부분을 먼저 읽고 선택 참고는 필요할 때만 읽는다. 여러 Chapter가 있는 주는 해당 주제의 절을 발췌하며 전 장 완독을 요구하지 않는다. 읽기 약 2–3시간을 기준으로 실습 시간을 확보한다. 논문·공식 규격은 별도로 보완한다. 45–48주는 새 책 없이 기존 자료를 재독한다. 미래 주차는 교재 계획만 표시하며 상세 페이지는 예약 실행 시 생성한다.
| 주차 · 과목 | 주교재 · Chapter | 선택 참고 · Chapter |
|---|---|---|
| 37주차 · 예정 Evaluation Dataset | T1 · AI Engineering Chapter 4, 8 집중 범위: 평가셋 설계 | T5 · Build an AI Agent (From Scratch) Chapter 10 (§10.2) 집중 범위: 채점기준 |
| 38주차 · 예정 Layered Evaluation | T1 · AI Engineering Chapter 3–4 집중 범위: 계층별 평가 | T6 · AI Agents in Action, 2e Chapter 7 (§7.3) 집중 범위: 근거 검증 |
| 39주차 · 예정 Observability | T8 · Observability Engineering, 2e Chapter 4–7 집중 범위: 계측·추적 | T5 · Build an AI Agent (From Scratch) Chapter 10 (§10.1) 집중 범위: 에이전트 관측 |
| 40주차 · 예정 Regression · LLMOps | T8 · Observability Engineering, 2e Chapter 11–12 집중 범위: 목표·경보 | T5 · Build an AI Agent (From Scratch) Chapter 10 (§10.4) 집중 범위: 회귀평가 |
읽기를 선호하고 O’Reilly를 구독하는 학습자를 위한 선택 독서 경로다. 기존 T1–T8 필수 교재와 주차별 Chapter는 그대로 유지한다. S1–S8은 별도의 보조교재 코드이며, 아래 자료를 모두 완독할 필요는 없다.
읽기 운영: 기본 읽기 2–3시간에 더해 여유가 있으면 주 60–90분 동안 선택 Chapter의 관련 절 또는 무료 읽을거리 하나를 읽는다. 총 학습시간을 늘리기 어렵다면 기존 선택 참고와 교체한다. 독서 노트에는 핵심 주장 3개, 반론·의문 1개, CHO-FAM 적용 아이디어 1개를 남긴다. 구현·실험 산출물은 유지한다.
| 주차 | 선택 교재 · Chapter · 읽기 초점 | 독서 질문 |
|---|---|---|
| 37주차 | S5 · Practical Statistics for Data Scientists, 2e Chapter 2 · 표본 설계 재독 | 평가셋의 선택 편향은? |
| 38주차 | S3 · Designing Machine Learning Systems Chapter 6 · 모델 평가 재독 | 평균 점수가 숨기는 실패 집단은? |
| 39주차 | S3 · Designing Machine Learning Systems Chapter 8 · 변화·모니터링 | 품질 저하를 알리는 신호는? |
| 40주차 | S5 · Practical Statistics for Data Scientists, 2e Chapter 3 · 실험 재독 | 회귀 판단에 필요한 효과 크기는? |
Google · Site Reliability Engineering
37–40주차 · SLO, 모니터링, 운영 테스트 관련 장을 선택한다.
추가 자료 확인: 2026-09-18. 링크된 O’Reilly 영문 판본의 공개 목차 기준이며, 읽기 초점과 질문은 CHO-FAM용 제안이다. 계정별 본문 접근 여부는 로그인 후 확인한다. 분산 시스템·운영 서적은 설계 원리 중심으로 읽고, 오래된 코드/API 예시는 현재 공식 문서와 대조한다. 12개월차는 기존 독서의 재참조이며 새 필독 도서를 추가하지 않는다.