请教一下，谁了解 OpenAI 内部数据工程的技术栈？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 631 天前的主题，其中的信息可能已经有所发展或是发生改变。

我搜了一下领英的招聘，他们公司特地写的很模糊，什么信息也没有。我也问了下 ChatGPT ，但是怕她瞎扯。求问网友有没有知道的？

我了解的是他们用 azure 云，数据库这块有 Spark 和 MySQL ，但是没看到向量数据库，不知道用不用。

领英

数据库

MySQL

Azure

13 条回复 • 2023-03-27 21:02:47 +08:00

janus77

2023-03-26 13:20:54 +08:00

他们公司不是有开源项目吗，去翻代码就知道了

knightdf

2023-03-26 13:26:54 +08:00

向量数据库应该是用的，但是具体是哪个就不知道了，他们的 notebook 里有推荐：
https://github.com/openai/openai-cookbook/blob/main/examples/vector_databases/Using_vector_databases_for_embeddings_search.ipynb

zwpaper

2023-03-26 13:55:14 +08:00 via iPhone

之前看过他们调优 k8s 的文章，应该还挺先进的

Baboonowen

2023-03-26 15:18:33 +08:00

微软为了 GPT4 改了 Azure ，说不定 OpenAI 用的和你看到的公开 azure 功能也很不一样。

levelworm

2023-03-26 20:35:59 +08:00 via Android

@janus77 有道理，我去看一下

levelworm

2023-03-26 20:36:45 +08:00 via Android

@knightdf 多谢，里头好像是 pinecone

levelworm

2023-03-26 20:37:14 +08:00 via Android

@zwpaper 多谢，正好要学 k8s ，他们是魔改源代码吗？

levelworm

2023-03-26 20:37:34 +08:00 via Android

@Baboonowen 的确，只能在内部能看到了。。。

zwpaper

2023-03-26 23:32:13 +08:00

不是魔改，只是大集群优化，几年前他们就跑了一个 2.5k 个节点的集群，作为一个 AI 公司，能容器化，还跑这么一个大集群，真不错了

cassyfar

2023-03-27 08:07:00 +08:00

@levelworm 貌似是自己搭的 k8s ，不是 azure 托管的。网络的问题，这个 scale 云计算托管其实就好了。

levelworm

2023-03-27 08:25:41 +08:00 via Android

@zwpaper 有点意思啊

zwpaper

2023-03-27 11:17:07 +08:00

@cassyfar #10 AI 容器化和应用容器化还是有些差异，能自己下场去维护 k8s 还是能做不少定制的，当前，现在有微软这个大腿，Azure 帮 OpenAI 定制 k8s 这个托管就更厉害了

levelworm

2023-03-27 21:02:47 +08:00 via Android

@zwpaper 求问这个下场维护 k8s ，指的是根据需求修改一部分源代码吗？