Firecrawl
OpenClaw는 세 가지 방식으로 Firecrawl을 사용할 수 있습니다:
web_search프로바이더로- 명시적 플러그인 도구:
firecrawl_search및firecrawl_scrape web_fetch를 위한 폴백 추출기로
Firecrawl은 봇 우회 및 캐싱을 지원하는 호스팅 추출/검색 서비스로, JS가 많은 사이트나 일반 HTTP 가져오기를 차단하는 페이지에 도움이 됩니다.
API 키 발급
- Firecrawl 계정을 만들고 API 키를 생성합니다.
- 설정에 저장하거나 게이트웨이 환경에서
FIRECRAWL_API_KEY를 설정합니다.
Firecrawl 검색 설정
json5
{
tools: {
web: {
search: {
provider: "firecrawl",
},
},
},
plugins: {
entries: {
firecrawl: {
enabled: true,
config: {
webSearch: {
apiKey: "FIRECRAWL_API_KEY_HERE",
baseUrl: "https://api.firecrawl.dev",
},
},
},
},
},
}참고 사항:
- 온보딩 또는
openclaw configure --section web에서 Firecrawl을 선택하면 번들된 Firecrawl 플러그인이 자동으로 활성화됩니다. - Firecrawl을 사용한
web_search는query및count를 지원합니다. sources,categories또는 결과 스크래핑과 같은 Firecrawl 특정 제어의 경우firecrawl_search를 사용합니다.baseUrl재정의는https://api.firecrawl.dev에만 있어야 합니다.FIRECRAWL_BASE_URL은 Firecrawl 검색 및 스크래핑 기본 URL을 위한 공유 환경 폴백입니다.
Firecrawl 스크래핑 + web_fetch 폴백 설정
json5
{
plugins: {
entries: {
firecrawl: {
enabled: true,
config: {
webFetch: {
apiKey: "FIRECRAWL_API_KEY_HERE",
baseUrl: "https://api.firecrawl.dev",
onlyMainContent: true,
maxAgeMs: 172800000,
timeoutSeconds: 60,
},
},
},
},
},
}참고 사항:
- Firecrawl 폴백 시도는 API 키가 사용 가능한 경우에만 실행됩니다 (
plugins.entries.firecrawl.config.webFetch.apiKey또는FIRECRAWL_API_KEY). maxAgeMs는 캐시된 결과가 얼마나 오래될 수 있는지 제어합니다 (ms). 기본값은 2일입니다.- 레거시
tools.web.fetch.firecrawl.*설정은openclaw doctor --fix에 의해 자동 마이그레이션됩니다. - Firecrawl 스크래핑/기본 URL 재정의는
https://api.firecrawl.dev로 제한됩니다.
firecrawl_scrape는 동일한 plugins.entries.firecrawl.config.webFetch.* 설정 및 환경 변수를 재사용합니다.
Firecrawl 플러그인 도구
firecrawl_search
일반 web_search 대신 Firecrawl 특정 검색 제어가 필요할 때 사용합니다.
핵심 파라미터:
querycountsourcescategoriesscrapeResultstimeoutSeconds
firecrawl_scrape
일반 web_fetch가 약한 JS가 많거나 봇 보호된 페이지에 사용합니다.
핵심 파라미터:
urlextractModemaxCharsonlyMainContentmaxAgeMsproxystoreInCachetimeoutSeconds
스텔스 / 봇 우회
Firecrawl은 봇 우회를 위한 프록시 모드 파라미터를 노출합니다 (basic, stealth, 또는 auto). OpenClaw는 항상 Firecrawl 요청에 proxy: "auto" 및 storeInCache: true를 사용합니다. 프록시가 생략되면 Firecrawl은 auto로 기본 설정됩니다. auto는 기본 시도가 실패하면 스텔스 프록시로 재시도하므로 기본 전용 스크래핑보다 더 많은 크레딧을 사용할 수 있습니다.
web_fetch에서 Firecrawl 사용 방법
web_fetch 추출 순서:
- Readability (로컬)
- Firecrawl (활성 web-fetch 폴백으로 선택되거나 자동 감지된 경우)
- 기본 HTML 정리 (최후 폴백)
선택 제어는 tools.web.fetch.provider입니다. 생략하면 OpenClaw가 사용 가능한 자격 증명에서 첫 번째 준비된 web-fetch 프로바이더를 자동 감지합니다. 현재 번들된 프로바이더는 Firecrawl입니다.