← Všechny AI tipy

Crawl4AI

Open-source crawler nad Playwrightem, který z webu dělá LLM-ready Markdown nebo JSON; má MCP integraci do Claude Code.

  • Nástroj
  • AI
  • 5/5

Účel

Open-source web crawler a scraper navržený tak, aby produkoval LLM-ready výstup: čistý Markdown s heuristickým filtrováním šumu (fit markdown, BM25 filtering) nebo strukturovaný JSON. Extrakce jde dělat buď rychle a levně přes CSS a XPath schémata, nebo LLM-driven s libovolným providerem.

Odlišnost

Postavený nad Playwrightem, takže zvládá JS-heavy stránky, sessions, proxy, persistentní profily prohlížeče, infinite scroll a stealth mode. Deep crawl má strategie BFS, DFS a best-first s crash recovery a novější adaptivní crawling, který se učí strukturu webu. Proti hotovým scraping API je to self-hosted a bez limitu na požadavky; proti holému Playwrightu přidává vrstvu, která z HTML dělá výstup vhodný pro LLM.

Nasazení

Self-host jako Python knihovna nebo přes Docker jako REST API server (od v0.9.0 secure-by-default se zapnutou autentizací). Má MCP integraci přímo do Claude Code. Apache 2.0, bez placené varianty od autora. Proxy si musíte zajistit sami.

V kostce

Zralost
5/5
Jak zavedený je projekt: body za aktivní vývoj, víc přispěvatelů, placenou verzi a víc než rok na trhu.
Nasazení
Knihovna, Self-hosting
Licence
Apache-2.0
Cena
OSS zdarma (Apache 2.0); proxy si zajišťuje uživatel sám

Zdroje