楼主已经注意到召回瓶颈，这点很关键。

我基于 dify 做了一些测试，用的是 word 文档，里面有文本、表格、无图片。
1 、同一文档的不同解析方式会影响 chunk 块 -> 会影响召回质量 -> 会影响首字返回和回答质量，所以文档解析和清洗方式都十分重要（自动化处理也很重要）。
2 、不同 chunk 方式会直接影响召回质量。
3 、基于不同嵌入模型的向量化会影响召回质量。
4 、因不同模型的指令执行能力不同，相同召回下给出的最终答案并不能都很好。

你不是有预算吗？嵌入模型（ text-embedding-3 等）、各大中转站的大模型 API 都挺便宜的。

最后，基于大量数据集的微调，100W 不够。所以，与其急着上大规模微调，不如先把文档解析和召回优化到位。
你可以做个实验：解析 、Chunk 、Embedding 、Rerank 、Prompt 、LLM 选型 、 微调。