V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
newlin
V2EX  ›  分享创造

开源了 GPT 的问题测试集一共 39000,方便大家冷启动批处理问问题

  •  
  •   newlin · 204 天前 · 802 次点击
    这是一个创建于 204 天前的主题,其中的信息可能已经有所发展或是发生改变。
    Our project provides 500 carefully designed questions that can be used to test and evaluate the performance of Generative Pretrained Transformer (GPT) models. The questions cover a variety of topics and domains and are designed to comprehensively examine the performance of GPT models Comprehension, creativity and logical reasoning skills.

    https://github.com/zgimszhd61/benchmark4GPT
    1 条回复    2023-10-07 23:01:24 +08:00
    cryptogems
        1
    cryptogems  
       204 天前
    大致看了一下,这些问题拿到对应的答案之后评价指标是什么,and 中文问题,是不是某种程度上其实没法发挥模型的真实性能,毕竟隔着一层语言的 layer (个人想法)
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2385 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 16:07 · PVG 00:07 · LAX 09:07 · JFK 12:07
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.