1주차 · Research Methodology + Agent vs Workflow

1. 이번 주 목표

• AI-Native Company를 연구 가능한 시스템 경계로 정의한다.
• Workflow와 Agent의 control flow 차이를 자신의 말로 설명한다.
• Cho-Pilot 업무 시나리오를 Workflow/Agent 두 방식으로 비교한다.
• 정확도뿐 아니라 비용·latency·일관성까지 측정하는 습관을 만든다.

2. 주간 시간표 · 총 9시간

3. O’Reilly 정규과목

O’Reilly 주교재: Chip Huyen, AI Engineering. 공식 페이지 1주차는 foundation model 자체보다 AI application planning, evaluation, engineering stack에 초점을 맞춘다.

읽으면서 CHO-FAM에 대해 다음 네 질문에 답한다: 시스템 경계는 어디인가, 성공을 무엇으로 정의하는가, 어떤 component가 deterministic해야 하는가, 어떤 component가 model-driven이어도 되는가.

4. Manning Agent 심화 세미나

Manning 심화 참고자료: Build an AI Agent (From Scratch), Chapter 1. O’Reilly 제공 페이지 핵심은 Workflow = developer-defined flow, Agent = LLM-directed flow의 차이를 실제 코드로 확인하는 것이다.

이번 주에는 LangGraph 등 프레임워크를 먼저 사용하지 않는다. 작은 loop를 직접 작성해 observe → decide → act → observe 구조를 이해한다.

5. 논문 세미나

논문 세미나: ReAct: Synergizing Reasoning and Acting in Language Models. 원문 LLM core, memory, planner, tool router, critic과 single/multi-agent orchestration taxonomy를 CHO-FAM에 매핑한다.

논문 노트 형식: 문제 / 핵심 가정 / 방법 / 평가 / 한계 / CHO-FAM 적용 가설.

6. CHO-FAM Lab · Cho-Pilot Mini v0.1

가상의 email, calendar, tasks JSON context를 준비하고 같은 문제를 두 방식으로 구현한다.

목적은 Agent가 무조건 더 좋다는 것을 증명하는 것이 아니라, Agentic control이 필요한 조건을 찾는 것이다.

7. 실험·평가

긴급메일, 오늘 회의, 기한 지난 task 등이 섞인 합성 업무 시나리오 10개를 만든다. 두 구현에 동일하게 적용하고 Task success, Wrong action, LLM calls, Latency, Token/Cost, Consistency를 기록한다.

성공 기준: Agent가 Workflow보다 우수할 필요는 없다. 어떤 조건에서 Workflow가 더 싸고 빠르고 안정적인지 설명할 수 있으면 성공이다.

8. 주간 산출물

• docs/research/01-agent-vs-workflow.md — Research Note 2–3쪽
• docs/architecture/cho-fam-context.md — 시스템 경계와 component map
• experiments/agent-vs-workflow/ — 두 구현 및 10개 테스트
• results/week01.csv — 실험 결과

Research Note의 마지막 문장: For CHO-FAM, agentic control should be introduced only when ______.

9. 1주차 학습 리포트

현재 답할 수 있는 핵심 질문

• Workflow가 적합한 조건: 필요한 정보, 처리 순서, 분기 규칙이 명확하고 deterministic code로 검증할 수 있을 때.
• Agent를 시험할 조건: 중간 observation에 따라 다음에 찾을 정보나 사용할 도구가 달라질 때.
• 완료 조건: 필요한 근거가 충분하고 정확하며, 제안한 시간이 deadline·duration·calendar constraint를 충족할 때.
• 중단·질문 조건: 중요한 scope가 불명확하거나, 계획이 불가능하거나, 반복 탐색이 진전을 만들지 못할 때.

10. 주간 산출물 예시

아래는 제출 형식과 판단 수준을 보여주는 예시다. 특히 결과표의 수치는 실제 측정값이 아니며, Lab 실행 후 교체해야 한다.

User ── goal / clarification / approval ──▶ Cho-Pilot
                                             │
                 ┌───────────────┬────────────┼──────────────┐
                 ▼               ▼            ▼              ▼
           Email System   Calendar System  Task System  Model Service

# Workflow: 개발자가 순서와 분기를 정의
context = collect(email, calendar, tasks)
classified = llm_classify(context)
ranked = rank_by_rules(classified)
return validate(llm_recommend(ranked), context)

# Agent: 모델이 observation에 따라 다음 행동을 선택
state = initial_state(request)
for step in range(MAX_STEPS):
    decision = choose_next_action(state, allowed_tools)
    if decision.type in {"finish", "ask_user"}:
        return validate_or_pause(decision, state)
    observation = execute_validated(decision)
    state = update_and_check_progress(state, decision, observation)
return budget_exhausted(state)

scenario,control,task_success,wrong_action,llm_calls,latency_ms,cost_usd,consistent
structured_deadline,workflow,1,0,2,1200,0.004,1
structured_deadline,agent,1,0,4,2400,0.009,1
ambiguous_meeting,workflow,0,1,2,1300,0.004,1
ambiguous_meeting,agent,1,0,5,3100,0.011,1

Lab 완료 후 교체할 항목

• 10개 시나리오 정의와 scenario별 정답·허용 가능한 복수 답안
• 동일 scenario 반복 실행 횟수와 consistency 계산법
• 실제 model/version, 공통 generation setting, 실행 환경
• 실측 LLM calls, latency, tokens, cost와 failure trace
• 가설 채택·기각 및 Agent 도입 기준의 수정

11. 월별/주차별 탐색

이전 주: 없음 · 다음 주: Week 02 · System Decomposition

← 전체 12개월 커리큘럼으로