一个类似 chatpdf 的项目, 让 gpt 帮你读文档 支持 pdf/epub/md 等多种格式
wenjie0032 · 2023-03-28 19:34:04 +08:00 · 3579 次点击这是一个创建于 605 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近在研究 chatpdf.com 类的项目,
主要功能是通过 gpt 实现: 问题结合文章内容的 ai 对话,
具体的实现原理是
- 利用 embedding 接口对文章内容进行向量化, 存储索引
- 提问的问题再次利用 embedding 接口进行向量化
- 根据 问题的向量数据在 文章的索引中进行搜索, 找寻到近似的章节
- 将 问题和近似的 embedding 一同提交到 complation 接口, 获取到 openai 的回复
结合以上思路实现了 chatdoc 这个项目, 支持更丰富的文件类型, 如 .pdf, .epub, .docx, .md, .txt, 甚至支持填写链接
当然程序中会根据不同的文件类型先去解析出文本, 然后再进行上面的索引构建等步骤
本项目使用到的技术
- 语言: 前端 vue, 后端 python
- 向量索引构建: llama_index 这个库是对索引构建及 openai 查询的封装, 功能十分丰富
- 文件解析: EbookLib, epub2txt, PyPDF2, beautifulsoup4 等
github: https://github.com/daodao97/chatdoc
欢迎大家试用并提出改进意见, 如果想要支持更多文件格式也可以留言.
预览图, UI 还比较丑, css 太难写了😭 (有前端大佬有兴趣一起改进的话那就更好了)
 |
1
fkname 2023-03-28 19:41:58 +08:00
听起来不错，已 star
|
 |
2
justin2018 2023-03-28 19:53:21 +08:00
|
 |
3
malusama 2023-03-28 19:59:35 +08:00
sk 暴露了吧?
小心被盗用 |
 |
4
wenjie0032 OP @malusama #3 哈哈, 没事, 那个 key 过期了
|
 |
5
holala 2023-03-28 20:32:04 +08:00
导一本书那得花多少 token 呀
|
|
6
wenjie0032 OP @holala #5 这个要看总的文本大小, 可以格局字数简单估计下 , openai 有在线查看 token 数的功能 https://platform.openai.com/tokenizer
|
 |
7
mxT52CRuqR6o5 2023-03-28 20:43:30 +08:00
看图里右边的问答，正确性有点捉急
|
|
8
wenjie0032 OP @mxT52CRuqR6o5 #7 还得多调教一下
|
 |
9
kongkongye 2023-03-28 22:06:14 +08:00 via iPhone
最近都是这种类型的应用
|
 |
10
fenglingyu 2023-03-29 14:10:22 +08:00
不错
|
Select Language