← Všechny AI tipy

Chonkie

Lehká Python knihovna pro chunking a ingestion do RAG pipeline s deseti strategiemi a napojením na pgvector.

  • Nástroj
  • AI
  • 4/5

Účel

Lehká Python knihovna pro ingestion a chunking do RAG pipeline. Pokrývá celý řetěz fetch → chunk → refine → embed → zápis do vektorové databáze, takže nahrazuje vlastní chunkery i lepidlo mezi nimi. Nabízí deset strategií chunkování: TokenChunker, SentenceChunker, RecursiveChunker, FastChunker, TableChunker, SemanticChunker, LateChunker, CodeChunker, NeuralChunker a SlumberChunker (agentní chunking přes LLM).

Odlišnost

Proti splitterům v LangChainu a LlamaIndexu je to samostatná knihovna zaměřená jen na ingestion — menší závislostní strom a podstatně menší wheel. Proti vlastnímu chunkeru, který si dnes píšeme v každém RAG projektu znovu, přináší hotové strategie pro tabulky, kód a sémantické dělení a napojení na vektorové databáze.

Nasazení

Python knihovna (PyPI), volitelně self-hosted REST API přes Docker. Dokumentace zmiňuje i managed „Chunking API", ale ceník nikde nezveřejňuje. Vektorové databáze: ChromaDB, Qdrant, Weaviate, Turbopuffer, Pinecone, pgvector, MongoDB Atlas Vector Search, Elasticsearch. Embedding provideři: OpenAI, AzureOpenAI, Cohere, Jina, Gemini, VoyageAI, Model2Vec, SentenceTransformers, plus vlastní model. Licence MIT.

V kostce

Zralost
4/5
Jak zavedený je projekt: body za aktivní vývoj, víc přispěvatelů, placenou verzi a víc než rok na trhu.
Nasazení
Knihovna, Self-hosting, SaaS
Licence
MIT
Cena
OSS zdarma (MIT); managed Chunking API bez zveřejněného ceníku

Zdroje