13강. 수동 프롬프팅에서 자율 루프로

왕초보 설명

  • 이게 뭐야? 지금까지는 내가 키보드 앞에서 AI에게 “이거 해, 다음엔 저거 해”를 하나씩 시켰다. 이 강의는 그 “다음 지시”를 시스템이 대신 하게 만드는 법(루프 엔지니어링)이다.
  • 비유: 세탁기. 빨래 넣고 “표준 코스”만 누르면 헹굼·탈수는 기계가 알아서 하고 끝나면 삐 울린다. 나는 코스(목표)와 끝 조건만 정한다.
  • 가장 쉬운 시작: /goal "모든 테스트 통과, 린트 경고 0"처럼 목표 + 확인 방법 + 멈출 조건을 한 번에 준다. 끝났는지는 AI 자신이 아니라 테스트나 다른 AI가 판정한다.
  • 나는 뭘 하면 돼? 일주일에 두 번 이상 손으로 하는 일 하나를 골라 목표·확인·멈춤 조건을 적고 한 번 돌려 본다. 진행 상황은 마크다운 파일 하나에 적게 한다. 루프가 만든 코드는 반드시 읽는다(안 읽으면 내 프로젝트를 내가 모르게 된다).

핵심 요약

  • 1~12강은 “사람이 매번 시작 버튼을 누른다”는 가정 위에 있었다. 루프 엔지니어링은 그 버튼을 시스템에 넘긴다. 하네스를 대체하지 않고 그 위에 한 층을 쌓는다: 하네스는 한 번의 실행을 믿을 만하게, 루프는 지속 실행을 자율적으로 만든다(loop-engineering).
  • /goal이 가장 단순한 루프: 목표 + 검증 방법 + 중단 조건. 완료 판단을 작업한 에이전트가 아니라 독립 심판(다른 모델·스크립트·테스트)이 한다.
  • 여섯 프리미티브(Addy Osmani): 자동화(심장 박동) / 워크트리(격리) / 스킬(프로젝트 지식) / 커넥터(MCP로 실제 도구) / 서브 에이전트(메이커·체커 분리) / 외부 상태(메모리, 나머지 모두의 척추).
  • 생성자/평가자 분리가 루프의 가장 중요한 신뢰성 장치다. “모델은 자기 출력의 최고 변호사다.”(maker-checker-separation)
  • 루프는 생성을 거의 공짜로 만들고 판단을 희소 자원으로 남긴다.

핵심 개념

루프 유형 (트리거 × 중단 방식)

유형트리거중단 조건Claude CodeCodex
턴 기반매 프롬프트 수동에이전트 판단 또는 사용자 중단일반 채팅일반 채팅
목표 기반목표 제시독립 평가자 확인 또는 최대 턴/goal/goal(수동 활성화 필요)
시간 기반N분/시간마다수동 중단 또는 작업 후 종료/loop스레드 자동화
이벤트 기반PR·CI 실패·새 이슈처리 후 또는 재시도 한도Routines(API / GitHub Webhook)독립 실행형 자동화 + 플러그인

/goal vs /loop: 한 문장 테스트 “이 일에 끝이 있는가?” 끝이 있으면 /goal(마라톤), 계속 지켜봐야 하면 /loop(알람 시계). /loop 10m "계속 결제 시스템 구현해"는 틀렸다. /loop는 매번 같은 지시를 독립 실행하고 지난번 진행을 기억하지 못한다.

루프 내부 vs 외부: 내부(1~12강)는 사람이 엔진이다. 외부에서는 시스템이 트리거 → 작업 발견 → 서브 에이전트 할당 → 검증 → 상태 저장을 돌리고, 사람은 ① 시작 전 목표·중단 조건 정의 ② 결과 검토 ③ 시스템이 길을 잃을 때 규칙 조정만 한다.

Karpathy autoresearch (강의가 꼽은 모범 루프)

파일누가 편집역할
prepare.py아무도(읽기 전용)데이터·토크나이저·평가 하네스
train.py(~630줄)AI 에이전트모델·옵티마이저·훈련 루프
program.md사람자연어 연구 방법론(목표 val_bpb, 제약, 탐색 방향, 평가 규칙, “멈추지 마라”)

9단계 래칫: 방향 읽기 → 상태 조사 → 가설 → train.py 수정 → git commit → 고정 5분 훈련 → val_bpb 개선? → 예: 유지·results.tsv 기록 / 아니오: git reset HEAD~1·실패 기록 → 반복. 강의에 따르면 README 추정 시간당 약 12회, 8시간에 약 100회이고, 1라운드는 nanochat GPT-2 수준 훈련 시간을 2.02h → 1.80h(약 10.9%) 줄였다. 교훈: 에이전트에게 작업이 아니라 방법론을 줘라.

네 가지 조용한 비용 후보:loop-silent-costs

비용뜻대응
검증 부채”괜찮아 보여”가 쌓임중단 조건은 기계로 검증 가능해야 함
이해 부패내 코드베이스 이해가 현실과 멀어짐빠른 루프는 빠른 읽기를 요구
인지 항복생각을 피하는 데 루프를 씀루프는 생각을 증폭하는 데
토큰 폭발전체 히스토리 재처리 시 누적 입력이 대략 2차로 증가컨텍스트 압축을 첫 루프부터

첫 루프 5단계: 반복 작업 하나 → 목표·중단 조건 작성 → 메이커·체커 분리 → 마크다운 메모리 → 타이머(/loop 또는 cron, 하루 1회로 시작해 일주일 관찰).

성숙도 사다리: 1 목표 실행자(/goal) → 2 예약된 단일 작업 → 3 다중 에이전트(메이커·체커, 워크트리 포크) → 4 자기 공급 루프(외부 상태에서 다음 작업 발견) → 5 함대 오케스트레이션. 강의는 “대부분의 팀은 2와 3 사이”라고 한다.

강의가 드는 외부 데이터 포인트(이 위키는 검증하지 않음): Claude Code와 Codex가 2026년 초 /goal을 독립 출시, Addy Osmani가 2026-06-07 “루프 엔지니어링” 명명, Boris Cherny의 30일 259 PR(497 커밋, +40,000/-38,000줄, Claude Code + Opus 4.5), OpenAI 소규모 팀의 5개월 약 100만 줄·약 1,500 PR.

다른 강의·프로젝트와의 연결

  • lecture-05·continuity-artifacts: 외부 상태 = 루프의 메모리.
  • lecture-08·feature-list: 기능 목록은 자기 공급 루프가 다음 작업을 찾는 데이터 소스.
  • lecture-09: 조기 완료 선언 → 루프에서는 중단 조건을 독립 심판에게.
  • lecture-11: 루프가 빠를수록 관측 가능성이 더 필요.
  • lecture-12·clean-state: 각 라운드가 클린 상태를 남겨야 다음 라운드가 자동 시작된다.
  • 실습: project-07. 다음: lecture-14(루프는 그래프의 한 노드).
  • 하네스 실례: ralph-loop가 이 강의의 “목표 기반 루프”를 하네스 수준에서 구현한 것이다. oh-my-claudecode의 ralph(검증자 판정까지 반복), gajae-code의 ultragoal(목표별 체크포인트 + 최종 critic OKAY)과 goal 모드. gjc에도 autoresearch라는 스킬이 있지만 Karpathy의 autoresearch와는 별개로, 연구 결과와 판정(verdict)을 내는 워크플로다.

원문 경로

  • ko: raw/learn-harness-engineering/docs/ko/lectures/lecture-13-loop-engineering/index.md
  • en: raw/learn-harness-engineering/docs/en/lectures/lecture-13-loop-engineering/index.md
  • 코드 예제: raw/learn-harness-engineering/docs/{ko,en}/lectures/lecture-13-loop-engineering/code/(goal-template.md, loop-state-template.md, maker-prompt.md, checker-prompt.md). code/index.md가 약속한 루프 제어 스크립트 예시는 없다.
  • 긴 소스(ko 약 46KB, en 약 38KB). 절 구성은 ko·en이 같다.
  • 표기 차이: ko 제목 “13강. 수동 프롬프팅에서 자율 루프로”, project-07의 링크 제목은 “L13. 왜 에이전트에게 프롬프트하는 것을 그만둬야 하는가”(en “Why You Need to Stop Prompting Your Agent”).
  • 강의 도입부의 1~12강 요약은 “깔끔한 인계(9, 12강)”, “관찰 가능(10-11강)“으로 묶어, 각 강의의 실제 주제(9 조기 완료 선언, 10 E2E 테스트)와 다르다.