OpenAI Codex에 Record & Replay가 들어왔다. 이름 그대로다. 사용자가 Mac에서 반복 작업을 한 번 보여주면, Codex가 그 과정을 관찰해서 다시 쓸 수 있는 스킬(skill) 로 만든다.
이건 단순한 화면 녹화가 아니다. 클릭과 입력을 그대로 매크로처럼 재생하는 기능도 아니다. 핵심은 Codex가 시연된 흐름을 보고, 언제 이 워크플로를 써야 하는지, 어떤 입력이 바뀔 수 있는지, 어떤 단계와 검증 기준이 필요한지를 정리해 재사용 가능한 SKILL.md 로 패키징한다는 점이다.
한 줄로 요약하면 이렇다.
이제 반복 업무를 설명하지 않아도 된다. 한 번 보여주면 Codex가 절차를 스킬로 배운다.
Record & Replay가 하는 일
Record & Replay는 Codex 앱에서 사용할 수 있는 기능이다. 사용자는 Codex에게 “이 업무를 기록해서 스킬로 만들어줘”라고 하고, 실제로 Mac에서 그 작업을 수행한다. Codex는 그 과정에서 필요한 행동과 창 내용을 관찰한다. 녹화가 끝나면 Codex가 기록을 분석해 스킬 초안을 만든다.
OpenAI 문서가 제시하는 예시는 이런 것들이다.
- 경비 처리하기
- 주차 공간 예약하기
- 올바른 설정으로 이슈 만들기
- 영상 업로드하기
- 정기 리포트 다운로드하기
공통점은 명확하다. 매번 비슷하지만, 날짜·파일·이슈 제목·업로드 대상 같은 일부 입력만 바뀌는 업무다. 이런 작업은 프롬프트로 전부 설명하기 애매하다. 버튼 위치, 선호하는 필드 값, 숨은 규칙, 검증 방식이 많기 때문이다. Record & Replay는 이 “설명하기 귀찮은 부분”을 시연으로 넘긴다.
사용 흐름
문서 기준의 기본 흐름은 다음과 같다.
- Codex 앱에서 Plugins를 연다.
+메뉴에서 Record a skill을 선택한다.- Codex가 제안하는 프롬프트를 검토하고, 필요한 맥락을 추가한다.
- Codex가 녹화 권한을 요청하면 승인한다.
- Mac에서 실제 업무를 수행한다.
- 작업이 끝나면 메뉴바, 오버레이, 또는 Codex에게 말해서 녹화를 중지한다.
- Codex가 녹화된 흐름을 분석해 스킬을 만든다.
- 필요하면 스킬을 더 다듬는다.
- 다음부터는 새 스레드에서 그 스킬을 사용해 같은 업무를 실행한다.
여기서 중요한 건 마지막 단계다. 재실행할 때는 매번 똑같은 값만 쓰는 게 아니다. 이번에 올릴 파일, 이번에 만들 이슈, 이번 리포트의 날짜 범위처럼 달라지는 값을 주면 된다. Codex는 생성된 스킬을 문맥으로 삼아 Computer Use, 브라우저 액션, 설치된 플러그인 등을 조합해 작업을 수행한다.
왜 이게 중요한가
에이전트 자동화의 가장 큰 병목 중 하나는 “업무를 설명하는 비용”이다. 사람은 업무를 잘 알고 있어도, 그 절차를 자연어로 완전히 설명하는 건 어렵다.
예를 들어 “영상을 업로드해줘”라고 말하는 것과 실제 업로드 절차는 다르다.
- 어떤 계정으로 로그인해야 하는가
- 제목 형식은 어떻게 쓰는가
- 설명란에는 어떤 템플릿을 넣는가
- 태그는 어디까지 넣는가
- 썸네일은 어떤 파일을 고르는가
- 공개/비공개 기본값은 무엇인가
- 업로드 완료를 어떻게 확인하는가
이런 지식은 대개 문서화되어 있지 않다. 사람 손에 배어 있는 절차다. 기존 자동화는 이걸 코드나 RPA 스크립트로 옮겨야 했다. Record & Replay는 그 중간 단계를 줄인다. 사람이 하던 방식을 보여주면, Codex가 절차 문서와 실행 힌트로 바꾼다.
이건 OpenAI가 Codex를 단순 코딩 도구에서 개인/팀 업무 자동화 에이전트로 확장하려는 흐름으로 보인다. 코드는 여전히 중요하지만, 실제 업무는 코드 에디터 안에서만 일어나지 않는다. 브라우저, 데스크톱 앱, 파일 시스템, 플러그인, 내부 도구를 넘나든다. Record & Replay는 그 경계를 시연 기반으로 이어 붙이려는 기능이다.
스킬이라는 형식이 핵심이다
Record & Replay의 산출물이 단순한 녹화 파일이 아니라 스킬이라는 점이 중요하다. OpenAI 문서에 따르면 Codex가 만든 스킬은 다음을 설명한다.
- 언제 이 워크플로를 사용해야 하는지
- 어떤 입력이 필요한지
- 어떤 단계를 따라야 하는지
- 결과를 어떻게 검증해야 하는지
즉 스킬은 “고정된 클릭 좌표 목록”이 아니라, 재사용 가능한 업무 지식이다. 사용자는 녹화 후에도 Codex에게 스킬을 더 다듬게 할 수 있다. 예를 들어:
- 파일명 규칙을 명시해줘.
- 날짜 범위가 바뀔 수 있다고 적어줘.
- 이 필드는 항상 기본값을 쓰라고 추가해줘.
- 마지막에 업로드 완료 화면을 확인하라고 적어줘.
- 실패하면 이 페이지에서 다시 시도하라고 적어줘.
이런 식으로 시연에서 빠진 암묵지를 보강할 수 있다.
이 접근은 꽤 현실적이다. 실제 업무 자동화는 한 번의 시연만으로 완벽해지기 어렵다. 첫 녹화는 초안이고, 그 뒤에 사람이 중요한 선호와 예외를 적어 넣으면서 스킬이 안정화된다.
매크로와 무엇이 다른가
겉으로 보면 예전 매크로 녹화와 비슷해 보인다. 하지만 방향이 다르다.
전통적인 매크로는 대체로 “내가 한 클릭과 키 입력을 그대로 재생”한다. UI가 조금 바뀌거나 입력값이 달라지면 깨지기 쉽다.
Record & Replay는 Codex가 workflow의 의도를 해석한다. 재실행 시에는 현재 환경에서 사용할 수 있는 도구를 선택한다. 어떤 경우에는 Computer Use로 UI를 조작할 수 있고, 어떤 경우에는 브라우저 액션이나 플러그인, 더 결정론적인 API 호출을 사용할 수도 있다.
즉 좋은 스킬은 “이 버튼을 좌표 520, 300에서 클릭”이 아니라 “보고서 다운로드 페이지에서 이번 날짜 범위를 선택하고 CSV를 내려받은 뒤 지정 폴더에 저장한다”에 가깝다.
이 차이가 크다. 에이전트 자동화는 결국 행동 기록을 의도와 검증 기준으로 승격시키는 쪽으로 가야 한다.
어디에 잘 맞을까
Record & Replay가 잘 맞는 작업은 문서에도 명확히 나와 있다.
- 반복적이다.
- 절차가 안정적이다.
- 성공 기준이 분명하다.
- 사용자의 선호가 중요하다.
- 말로 설명하기보다 보여주는 게 빠르다.
예를 들어 이런 업무에 잘 맞는다.
- 매주 같은 포맷의 리포트 내려받기
- 내부 도구에 정해진 필드로 이슈 등록하기
- 특정 양식의 신청서 제출하기
- 영상·문서 업로드 절차 자동화하기
- 사내 포털에서 반복 작업 수행하기
- 고객별 파일을 정해진 규칙으로 정리하고 제출하기
반대로 잘 안 맞는 작업도 있다.
- 매번 판단 기준이 크게 바뀌는 작업
- UI가 자주 바뀌는 불안정한 서비스
- 성공 여부를 확인하기 어려운 작업
- 민감 정보 입력이 많은 작업
- 장시간 여러 주제를 오가는 흐름
OpenAI도 녹화는 짧고 완결된 형태로 유지하라고 권한다. 업무 하나를 명확히 보여주고, 끝나면 바로 멈추는 게 좋다.
제한사항
현재 문서 기준으로 Record & Replay는 다음 제한이 있다.
- macOS에서 사용 가능하다.
- Computer Use가 사용 가능하고 활성화되어 있어야 한다.
- 초기 제공 지역에서 European Economic Area, 영국, 스위스는 제외된다.
- 조직이
requirements.toml로 Codex를 관리하는 경우[features].computer_use설정이 Record & Replay에도 영향을 준다.computer_use = false이면 둘 다 사용할 수 없다.
또 하나의 실무적 제한은 보안이다. OpenAI 문서도 현실적인 입력은 쓰되, 비밀과 민감 데이터는 피하라고 권한다. 녹화 과정에서 Codex가 창 내용과 행동을 관찰하기 때문이다. 비밀번호, 개인식별정보, 고객 정보, 결제 정보가 포함된 흐름은 특히 조심해야 한다.
Plugin과 Skill의 경계
문서 말미에서 OpenAI는 Record & Replay와 Plugin의 경계도 설명한다.
Record & Replay는 시연 기반으로 빠르게 스킬을 만드는 방법이다. 개인이나 작은 팀의 반복 업무를 빠르게 자동화하는 데 적합하다.
반면 팀 전체에 배포할 안정적인 패키지를 만들고 싶다면 plugin으로 묶는 것이 낫다. 여러 스킬을 번들링하거나, 앱 통합을 넣거나, MCP 서버를 추가하거나, 설치 메타데이터를 관리해야 한다면 plugin이 맞다.
정리하면:
- Record & Replay: 한 업무를 빠르게 시연해서 스킬화
- Skill: 재사용 가능한 업무 절차와 검증 기준
- Plugin: 팀 배포용 안정 패키지, 여러 스킬과 통합 포함 가능
이 구조는 꽤 깔끔하다. 개인 자동화는 낮은 진입장벽으로 시작하고, 반복 가치가 커지면 plugin으로 제품화할 수 있다.
내 해석: 자동화의 입력 방식이 바뀐다
이 기능의 의미는 단순히 “Codex가 화면을 녹화한다”가 아니다. 자동화의 입력 방식이 바뀌고 있다.
과거 자동화의 입력은 코드였다. 개발자가 절차를 이해하고 스크립트로 옮겼다.
그다음은 자연어였다. 사용자가 “이렇게 해줘”라고 설명하면 에이전트가 실행했다.
Record & Replay는 그다음 단계다. 시연이 입력이 된다.
사람은 많은 일을 말보다 행동으로 더 잘 설명한다. 특히 사내 도구, 웹 대시보드, 업로드 절차, 리포트 다운로드처럼 작은 관행이 많은 업무는 그렇다. Record & Replay는 이 행동을 스킬이라는 텍스트 지식으로 압축한다.
여기서 흥미로운 점은, 결과물이 다시 텍스트라는 것이다. 시연은 스킬로 변환되고, 스킬은 사람이 읽고 수정할 수 있다. 즉 블랙박스 매크로가 아니라, 편집 가능한 절차 지식이 된다.
이건 에이전트 UX에서 중요한 패턴이다.
보여주고, 스킬로 만들고, 사람이 읽고 고치고, 다시 실행한다.
이 루프가 잘 작동하면 개인 업무 자동화의 문턱이 크게 낮아진다.
결론
Codex Record & Replay는 작은 기능처럼 보이지만 방향성은 크다. 에이전트가 코드를 짜는 도구에서, 사용자의 실제 컴퓨터 업무를 배우고 재사용하는 도구로 넘어가고 있다.
물론 아직 조건이 붙는다. macOS, Computer Use, 지역 제한, 보안 주의, 안정적인 워크플로라는 전제가 있다. 그리고 녹화 한 번으로 완벽한 자동화가 만들어진다고 기대하면 안 된다. 좋은 스킬은 녹화 후 편집과 보강이 필요하다.
그래도 변화는 분명하다. 반복 업무를 자동화하기 위해 코드를 짜거나 긴 절차서를 쓰는 대신, 이제는 한 번 보여주고 스킬로 만드는 길이 생겼다.
Codex의 Record & Replay는 에이전트 자동화가 어디로 가는지 잘 보여준다.
프롬프트만 쓰는 시대에서, 시연을 통해 업무를 가르치는 시대로 가고 있다.
원문: OpenAI Developers, Record & Replay – Codex