AI가 밤새 스스로 똑똑해진다 — 카파시의 오토리서치가 알려준 '자가발전' 설계법

밤새 자는 동안 AI가 700번의 실험을 돌리고, 아침에 일어나 보니 스스로 20개의 개선점을 찾아 놓았다면 어떨까요. 공상 같지만 실제로 벌어진 일입니다. 테슬라 자율주행팀과 OpenAI를 이끌었던 AI 연구자 안드레 카파시가 2026년 3월 공개한 오픈소스 프로젝트 오토리서치(autoresearch) 이야기입니다.

흥미로운 건 결과 자체가 아닙니다. 이 프로젝트는 "어떤 프로젝트든 스스로 발전하게 만드는" 하나의 설계 원리를 아주 작고 명확한 형태로 보여줍니다. 그리고 그 원리는 AI 연구가 아니라 평범한 회사 업무에도 그대로 옮길 수 있습니다. 오늘은 그 이야기를 하려고 합니다.

오토리서치가 실제로 한 일

카파시는 AI 모델을 학습시키는 코드를 몇 달째 손으로 조금씩 고치고 있었습니다. 그러다 당연한 질문을 던졌습니다. "이걸 왜 내가 손으로 하고 있지? AI 에이전트한테 실험을 맡기면 되잖아?" 그 질문이 오토리서치가 됐습니다.

구조는 놀랄 만큼 단순합니다. 파일이 사실상 세 개뿐입니다.

작동 방식은 이렇습니다. 에이전트가 train.py를 한 번 고쳐서 정확히 5분 동안 학습을 돌리고, 검증 점수 하나(모델이 다음 단어를 얼마나 잘 맞히는지 재는 값, 낮을수록 좋음)로 성적을 매깁니다. 좋아졌으면 그 변경을 채택하고, 나빠졌으면 버리고, 다시 다음 아이디어를 시도합니다. 시간당 약 12번, 밤새 약 100번을 사람 없이 반복합니다.

카파시가 직접 밝힌 핵심은 이 한 문장입니다.

"연구자가 하듯 파이썬 파일을 직접 건드리는 게 아닙니다. 에이전트에게 맥락을 주는 program.md 마크다운을 프로그래밍하는 겁니다."

즉 사람이 하는 일은 코드 수정이 아니라 '무엇을 향해, 어디까지 바꿔도 되는가'를 정의하는 것으로 바뀝니다. 결과는 분명했습니다. 총 700번의 실험 끝에 에이전트는 스스로 20개의 최적화를 발견했고, 그 개선점을 더 큰 모델에 적용하자 학습 시간이 11% 줄었습니다. 사람들은 이 방식을 '카파시 루프(Karpathy Loop)'라고 부르기 시작했습니다.

이게 일시적 화제로 끝나지 않았다는 정황도 있습니다. 2026년 5월, 카파시는 Anthropic의 프리트레이닝 연구팀에 합류했습니다. 오토리서치가 보여준 '자가발전 루프'가 최전선 AI 연구소의 실제 관심사와 맞닿아 있다고 볼 수 있습니다.

진짜 혁신은 도구가 아니라 '자가발전 설계'다

오토리서치의 코드는 630여 줄에 불과합니다. 대단한 기술이 들어 있어서 주목받은 게 아닙니다. 주목할 것은 어떤 시스템이든 스스로 개선되게 만드는 설계의 뼈대를 이만큼 작게 증류해 보여줬다는 점입니다. 그 뼈대는 네 가지로 정리됩니다.

1. 바꿀 수 있는 표면을 하나로 좁힌다. 오토리서치는 오직 train.py 한 파일만 수정하게 했습니다. 무엇이든 다 바꿀 수 있으면 통제도 안 되고 학습도 안 됩니다. '자유롭게 실험할 곳'을 딱 한 군데로 제한하는 것이 첫 단추입니다.
2. '더 좋음'을 숫자 하나로 정의한다. val_bpb라는 지표 하나가 모든 판단의 기준입니다. 좋아졌는지 나빠졌는지를 사람이 감으로 판단하지 않고 숫자가 대신 정하기 때문에, 사람 없이도 루프가 돕니다.
3. 시간을 정해 루프를 돌린다. 실험 한 번은 5분, 채택·폐기 판단은 즉시. 짧고 반복 가능한 주기가 있어야 하룻밤에 100번을 시도할 수 있습니다. 완벽한 한 번보다 빠른 백 번이 이깁니다.
4. 사람은 방향만, 실행은 기계가. 사람이 기여하는 건 목표 선택, 지표 정의, 실험 공간의 설계 — 이 세 가지뿐입니다. 나머지 실행의 대부분은 이미 자동화할 수 있습니다.

이 네 가지에는 AI 모델이라는 단어가 하나도 필요 없다는 점을 눈여겨보세요. 그래서 이 설계는 회사 업무로 그대로 옮겨집니다.

우리 회사 업무에 옮기면

'밤새 스스로 개선되는 시스템'은 대기업 연구소만의 것이 아닙니다. 반복되고, 성패를 숫자로 잴 수 있는 일이라면 이 네 단계를 얹을 수 있습니다.

• 고객 응대 문구: 바꿀 표면 = 첫 응답 메시지 문구. 지표 = 답장률 또는 예약 전환율. 루프 = AI가 문구 변형을 만들고 → 소규모로 테스트 → 성적 좋은 쪽 채택 → 반복.
• 광고·상세페이지 카피: 바꿀 표면 = 헤드라인 한 줄. 지표 = 클릭률. 사람은 '어떤 톤은 절대 안 된다' 같은 경계만 정하고, 변형 생성과 비교는 맡깁니다.
• 내부 업무 매뉴얼(SOP): 바꿀 표면 = 특정 절차 한 단계. 지표 = 처리 시간 또는 실수 건수. 매주 한 가지 변경만 시험하고, 나아지면 매뉴얼에 반영합니다. 다만 여기서 대부분 첫 단추를 잘못 끼웁니다 — 지표를 '처리 시간'만으로 잡으면 속도는 빨라져도 품질이 무너지죠. 무엇을 재느냐가 결과를 통째로 바꿉니다.

공통점이 보이시나요. 모든 것을 한꺼번에 바꾸는 게 아니라, 바꿀 곳 하나와 잴 숫자 하나를 정하고 짧은 주기로 돌리는 것. 이 규율만 세우면 시스템은 스스로 나아지기 시작합니다.

다만 반드시 짚어야 할 함정이 있습니다. 지표를 잘못 잡으면 엉뚱한 것을 최적화합니다. '통화 시간 단축'만 지표로 걸면 상담원이 고객을 서둘러 끊어버리는 식이죠. 숫자가 목표가 되는 순간 숫자만 좋아지고 정작 중요한 것은 망가지는 이 현상을, 흔히 굿하트의 법칙이라고 부릅니다. 그래서 이 방법론에서 사람의 진짜 일은 올바른 지표를 고르고 넘지 말아야 할 경계를 긋는 것입니다. 루프를 도는 건 기계가 하지만, 어디로 돌지를 정하는 건 끝까지 사람의 몫입니다.

이로미즘이 고객사와 일을 시작할 때 가장 먼저 하는 것도 바로 이 작업입니다. 어떤 업무를 루프에 올릴지, 무엇을 '더 좋음'의 지표로 삼을지, 어디까지 자동으로 바꾸게 하고 어디서 사람이 멈춰야 할지 — 이 경계를 함께 긋는 것에서 자가발전하는 시스템이 시작됩니다.

정리하며

오토리서치가 던진 메시지는 분명합니다. 자가발전하는 시스템은 거창한 기술이 아니라 작고 명확한 설계에서 나온다는 것. 바꿀 표면 하나, 잴 숫자 하나, 정해진 루프, 그리고 방향을 잡는 사람. 이 네 가지면 프로젝트는 스스로 나아지기 시작합니다.

문제는 "무엇을 루프에 올릴 것인가"를 고르는 일입니다. 우리 회사의 어떤 업무가 이 자가발전 루프에 가장 잘 맞을지, 어떤 지표로 재야 엉뚱한 최적화를 피할지 — 이걸 함께 짚어 드립니다.

우리 회사 업무 중 무엇부터 '스스로 개선되는 루프'에 올릴 수 있을까요? 30분 무료 진단으로 첫 후보를 찾아 드립니다.