코난쌤 블로그

Trackio — 에이전트 시대의 실험 추적기: W&B를 대체하는 로컬 우선, 무료, LLM 친화적 도구

10 min read

실험 추적(experiment tracking)은 머신러닝 파이프라인의 척추다. 그런데 기존 도구들은 에이전트 시대에 맞지 않는다. 계정이 필요하고, 클라우드에 종속되며, API 호출이 무겁고,何より LLM이 다루기 어렵다. Hugging Face의 Gradio 팀이 이 문제를 풀기 위해 내놓은 것이 Trackio다.

“Trackio는 인간과 AI 에이전트를 위해 만들어진, 가볍고 무료인 실험 추적 라이브러리입니다.” — Trackio README

Trackio 대시보드 데모 Trackio 그라디오 대시보드 — 로컬에서 실시간 메트릭, 미디어, 테이블, 알림을 시각화

핵심 설계 원칙 4가지

1. 로컬 우선 (Local-first)

Trackio는 가장 먼저 로컬에서 동작한다. 계정 생성도, 클라우드 설정도 필요 없다. pip install trackio 한 줄이면 끝이다. 모든 로그는 로컬 SQLite 데이터베이스에 저장되며, Parquet으로 “freeze”하여 아카이빙할 수도 있다.

import trackio
 
trackio.init(project="my-project", config={"lr": 0.001})
trackio.log({"loss": 0.5, "accuracy": 0.92})
trackio.finish()

필요하면 space_id를 넘겨서 Hugging Face Space에 자동으로 대시보드를 배포할 수도 있다. 이것도 무료다.

2. W&B 드롭인 교체 (Drop-in Replacement)

import trackio as wandb

이 한 줄로 wandb.init, wandb.log, wandb.finish를 그대로 쓸 수 있다. 기존 W&B 코드를 수정 없이 전환할 수 있다는 의미다. 팀 단위 마이그레이션 부담이 거의 사라진다.

3. LLM 친화적 설계 (LLM-friendly)

이것이 Trackio를 단순한 “또 다른 추적 도구”와 구분하는 결정적 특징이다. Trackio는 자율적 ML 실험을 염두에 두고 설계되었다:

  • CLI 인터페이스: trackio list, trackio get, trackio show 등 터미널 명령으로 모든 데이터에 접근 가능
  • SQL 직접 쿼리: trackio query project --project <name> --sql "SELECT ..." 형태로 읽기 전용 SQL 실행
  • Python API: trackio.Api() 객체로 프로그래밍 방식 제어

즉, LLM 에이전트가 터미널에서 직접 실험 데이터를 읽고, 분석하고, 다음 실험을 설계하는 루프를 자연스럽게 구성할 수 있다.

4. 비동기 논블로킹 로깅

trackio.log()는 인메모리 큐에 추가만 하고 즉시 반환한다. 백그라운드 스레드가 0.5초마다 큐를 비워 SQLite에 기록한다. 호출 스레드는 네트워크나 디스크 I/O를 전혀 기다리지 않는다.

메트릭측정값비고
단일 실행 버스트2,000로그 < 8초log() 호출 자체는 ~0.01초
32스레드 병렬32,000로그 ~14초스레드별 독립 연결
배치당 로그 수제한 없음0.5초 창의 모든 엔트리를 한 번에 전송
데이터 안전성무손실실패 시 로컬 SQLite에 저장 후 자동 재시도

Trackio 임베드 데모 Trackio 대시보드를 웹사이트나 블로그에 iframe으로 임베드 — 쿼리 파라미터로 프로젝트/메트릭 필터링

에이전트 루프에 Trackio를 넣는다는 것

Trackio의 진정한 가치는 에이전트 기반 자율 실험 파이프라인에서 드러난다. 다음과 같은 루프를 상상해보자:

  1. 에이전트가 가설을 생성 → trackio.init(project="auto-exp", config=hypothesis)
  2. 에이전트가 학습 코드를 실행 → trackio.log(metrics) (비동기, 학습 루프에 영향 없음)
  3. 에이전트가 결과를 분석 → trackio query project --project "auto-exp" --sql "SELECT ..."
  4. 에이전트가 다음 가설을 수정 → 새 run 시작, 반복

이 전체 사이클에서 인간은 단 한 번의 개입도 필요 없다. Trackio는 SQLite 기반이므로 에이전트가 터미널에서 직접 SQL을 날려 데이터를 읽을 수 있고, CLI 명령으로 run을 관리할 수 있다. 이것이 W&B나 MLflow 같은 기존 도구에서는 매우 자연스럽지 않았던 부분이다.

저장소의 autonomous-experiments/ 디렉토리와 .agents/skills/trackio/ 디렉토리가 존재한다는 것도 이 도구가 에이전트 활용을 1급 시민으로 취급한다는 증거다.

W&B와의 기능 비교

기능TrackioWeights & Biases
메트릭/설정/런 추적✅✅
실시간 대시보드 & 런 비교✅✅
이미지/오디오/비디오✅✅
테이블✅✅
자동 시스템 메트릭✅✅
알림 & 웹훅✅✅
호스팅 대시보드 & 공유✅ HF Spaces✅ W&B Cloud
버전 관리 아티팩트 & 계보✅✅
실험 리포트✅✅
하이퍼파라미터 스윕❌✅
아티팩트 레지스트리❌✅
개인/팀 무제한 무료 사용✅❌

스윕과 아티팩트 레지스트리는 아직 없지만, Trackio는 pre-release 단계이며 핵심 추적 기능은 모두 갖추고 있다. 그리고 무엇보다 무료다.

알림과 웹훅

Trackio는 학습 중 중요 이벤트를 플래그할 수 있는 알림 시스템을 내장하고 있다. 알림은 터미널에 출력되고, 데이터베이스에 저장되며, 대시보드에 표시되고, 선택적으로 Slack/Discord 웹훅으로 전송된다.

trackio.init(
    project="my-project",
    webhook_url="https://hooks.slack.com/services/T.../B.../xxx",
    webhook_min_level=trackio.AlertLevel.WARN,
)
 
if loss > 5.0:
    trackio.alert(
        title="Loss spike",
        text=f"Loss jumped to {loss:.2f}",
        level=trackio.AlertLevel.ERROR,
    )

이것도 에이전트 루프에서 유용하다 — 에이전트가 trackio get alerts --project "my-project" --json으로 알림을 읽고 대응할 수 있다.

셀프 호스팅 & 커스텀 프론트엔드

Trackio 서버를 자체 인프라에서 실행할 수도 있다. trackio.show()가 반환한 URL을 server_url로 넘기면 된다:

trackio.init(
    project="my-project",
    server_url="http://127.0.0.1:7860?write_token=YOUR_TOKEN"
)

프론트엔드도 커스터마이징 가능하다. trackio show --frontend ./my-trackio-frontend로 커스텀 디렉토리를 지원하며, index.html만 있으면 된다. Svelte 5로 작성된 기본 대시보드를 포크해서 원하는 대로 바꿀 수 있다.

현재 상태와 활동

  • 버전: 0.29.0 (2026년 6월 30일 기준 최신 릴리스, 총 41개 릴리스)
  • GitHub 스타: 1,600+
  • 커밋: 596개
  • 언어 분포: Python 70.1%, Svelte 20.1%, JavaScript 7.3%
  • 라이선스: MIT

pre-release 단계이므로 DB 스키마가 변경될 수 있다. 최신 데이터베이스는 안정적인 run_id와 비고유 run_name을 사용하며, 구버전 호환 모드도 유지된다.

Trackio 프로젝트 요약 Trackio — Hugging Face가 만든 가볍고 무료인 실험 추적 라이브러리

마무리: 에이전트 네이티브 실험 추적의 시작

Trackio는 “또 하나의 W&B 클론”이 아니다. 이 도구는 LLM 에이전트가 자율적으로 실험을 설계하고 실행하고 분석하는 루프를 전제로 설계되었다. 로컬 우선, SQLite 기반, CLI/SQL 쿼리 인터페이스, 비동기 논블로킹 로깅 — 모든 설계 결정이 에이전트 친화적이다.

W&B 드롭인 호환 덕분에 마이그레이션 비용도 거의 없다. AI/ML 실험 자동화에 관심이 있다면, Trackio는 주목할 만한 도구다.

더 실습해보고 싶은 분들께

에이전트 자동화, 루프 엔지니어링, 도구 활용에 관심이 많으시다면 아래 두 가지를 추천합니다:

직접 에이전트 루프 안에서 Trackio를 끼워넣어 보면, 실험 추적이 얼마나 자연스럽게 자동화 파이프라인의 일부가 될 수 있는지 체감할 수 있을 것이다.

그래프 뷰