Tokens, context windows, and chunking: how LLM sees text
- Token counting in PHP
- Case 1. Will the document fit the model context window?
- Case 2. Under the tokenizer microscope
- Кейс 3. Первый чанкер своими руками
- Кейс 4. Chunking с overlap
- Кейс 5. Семантический чанкинг документации
- Кейс 6. Подготовка базы знаний для RAG