实现基于语义边界的文档分块算法。

知识专题：文档切分与元数据题目类型：代码题技术难度：进阶

收录题集：1 份

暂无参考答案

未标记

询问 AI

选择 AI 平台

Kimi 千问 ChatGPT

自动带入当前题目

本题目录

收录题集

1 份

编程与数据结构算法

阿东玩 AI · AgentGuide · 2 条原题

查看题集 →

- 【文本分块算法】手写简易文本Chunking分割算法，实现固定长度+语义约束的文本分块。「阿里通义」
- 【文本分块算法】实现一段超长文本（可能几千万字）的切分，规则：1. 每段有最大长度K，段落以标点结束；2. 如果某段到了K还没遇到标点，就向后找最近的标点作为段尾（此时允许超过K）；3. 如果相邻几个短句加起来不超过K，要尽量合并成一段，让长度尽量接近K。「阿里巴巴」