V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
jjyyryxdxhpyy
V2EX  ›  分享创造

[开源] 用 Gemini 开发的小项目开源啦

  •  
  •   jjyyryxdxhpyy ·
    liu-ziting · 324 天前 · 3701 次点击
    这是一个创建于 324 天前的主题,其中的信息可能已经有所发展或是发生改变。

    简介

    [我知道你的宠物在想什么] 是一个基于 Gemini Pro API 构建的图片识别项目,通过上传你宠物的照片,该项目能够智能分析你的宠物的表情和环境,并推测出它们可能在想些什么。

    功能特点

    • 图片识别:利用 Gemini-pro-vision 的图像识别技术,能够准确地识别宠物的表情和环境。
    • 表情分析:通过分析宠物的表情 Gemini-pro-vision 可以推测出宠物可能的情绪状态,如开心、惊讶、困惑等。
    • 环境分析:Gemini-pro-vision 还能根据宠物所处的环境,推测出它们可能的活动场景,如户外玩耍、室内休息等。
    • 自然语言处理:结合图像识别和自然语言处理技术,Gemini-pro-vision 可以将宠物的情绪和活动场景转化为可读性高的文字描述。
    • 用户友好界面:提供简洁直观的用户界面,使用户能够轻松上传照片并获取宠物分析结果。

    注意事项

    请确保上传的照片清晰可见,以获得更准确的分析结果。 本项目仅适用于识别和分析常见宠物如猫、狗等,对于其他动物可能不具有准确性。 这是一款有趣实用的图片识别项目,让你更深入地了解你的宠物的情绪和喜好。无论是为了更好地照顾宠物,还是与朋友们分享宠物的趣事,这个网站都能为你带来愉悦的使用体验。

    开源地址

    https://github.com/liu-ziting/PetThoughts

    可以 Fork ,改一下 Prompt 就可以是一个新应用,我改了三个,提示词分别是:

    • 你是一位熟练的宠物语言翻译员,根据用户传的照片,你识别出是什么宠物,准确猜测宠物的情绪和想法,你可以根据宠物的肢体语言、表情、周围环境猜测宠物想说什么。翻译完后,请根据宠物的语气给出宠物的“声音”,口语自然一点,用中文回答,格式如下:🐶:<这是什么宠物><宠物的想法>。用户上传的图片中,如果没有宠物,则返回“图片中没有宠物~""

    • 作为一位熟练的儿童心理翻译员,我可以根据用户提供的照片来识别孩子的情绪和想法,并根据他们的肢体语言、表情和周围环境推测他们想说的话。以下是修改后的回答格式:如果图片中没有孩子:🧒:图片中没有孩子~,如果有孩子的话,我将以孩子的视角回答:🧒:<孩子的情绪>,<孩子的想法>

    • 根据用户上传的照片,你需要识别出题目,按照顺序返回我正确答案就可以,如果上传的照片中没有题目,则返回“图片中没有题目~”。

    希望点点喜欢有用的可以点下 Star ,这对我很重要~

    30 条回复    2024-02-29 14:58:37 +08:00
    wonderfulcxm
        1
    wonderfulcxm  
       324 天前 via iPhone
    这个说是看图说话的应用吗
    wonderfulcxm
        2
    wonderfulcxm  
       324 天前 via iPhone
    不错,可以智能生成方案发朋友圈
    jjyyryxdxhpyy
        3
    jjyyryxdxhpyy  
    OP
       324 天前
    @wonderfulcxm 这个想法可以的,改一下提示词就行了
    ming61177
        4
    ming61177  
       324 天前   ❤️ 3
    获得了核心代码,嘻嘻。 `你是一位熟练的宠物语言翻译员,根据用户传的照片,你识别出是什么宠物,准确猜测宠物的情绪和想法,你可以根据宠物的肢体语言、表情、周围环境猜测宠物想说什么。翻译完后,请根据宠物的语气给出宠物的“声音”,口语自然一点,用中文回答,格式如下:🐶:<这是什么宠物><宠物的想法>。用户上传的图片中,如果没有宠物,则返回“图片中没有宠物~""`
    hanssx
        5
    hanssx  
       324 天前
    完了,以后要面向 prompt 编程了
    fffflyfish
        6
    fffflyfish  
       324 天前
    牛哇,开源了,之前我还把应用分享给小伙伴
    wangyaominde
        7
    wangyaominde  
       324 天前
    突然感觉弄个小程序会火,up 可以试下
    monerujos123
        8
    monerujos123  
       324 天前
    赞啊!
    monerujos123
        9
    monerujos123  
       324 天前
    不过看了下,现在 API 免费的条件是:
    Input/output data used to improve our products

    Yes

    所以是会收集和使用输入的。
    gonglexin
        10
    gonglexin  
       324 天前
    刚做了一个仿 Instagram 的 Elixir 项目: https://ex-instagram.fly.dev/ ,也是用到了 Gemini 也开源: https://github.com/gonglexin/ex_instagram
    jjyyryxdxhpyy
        11
    jjyyryxdxhpyy  
    OP
       324 天前
    @wangyaominde 国内小程序不允许,很难搞这种
    jjyyryxdxhpyy
        12
    jjyyryxdxhpyy  
    OP
       324 天前
    @monerujos123 嗯~我的意思是我程序不收集,API 是会,我加个提示,感谢提醒
    jjyyryxdxhpyy
        13
    jjyyryxdxhpyy  
    OP
       324 天前
    @gonglexin 可以,给你 star 了
    jjyyryxdxhpyy
        14
    jjyyryxdxhpyy  
    OP
       324 天前
    @fffflyfish 感谢分享
    jjyyryxdxhpyy
        15
    jjyyryxdxhpyy  
    OP
       324 天前
    @hanssx 是这样的,这是个方向
    wangyaominde
        16
    wangyaominde  
       324 天前
    @jjyyryxdxhpyy 好吧,我以为只有解析没有生成就不会有政策上的风险
    guogb
        17
    guogb  
       324 天前
    @hanssx 哈哈哈哈
    jjyyryxdxhpyy
        18
    jjyyryxdxhpyy  
    OP
       324 天前
    @ming61177 这个提示词也是 gemini 给我写的,用 AI 去写 AI
    kuber
        19
    kuber  
       324 天前
    @jjyyryxdxhpyy 不错。如果能创建一个图片发到朋友圈就好了,有自己宠物的人一定会上瘾的。
    没有看到后台是用什么开发的?
    jjyyryxdxhpyy
        20
    jjyyryxdxhpyy  
    OP
       323 天前
    @kuber node + next
    mhhya
        21
    mhhya  
       323 天前
    op 麻烦问下 Gemini-pro-vision 使用有 qps 之类的限制吗,还是说能随便用啊
    testliyu
        22
    testliyu  
       323 天前
    感觉这是很好的商业项目,怎么开源了呢
    jjyyryxdxhpyy
        23
    jjyyryxdxhpyy  
    OP
       322 天前
    @mhhya 目前是没有,未来不知道
    mhhya
        24
    mhhya  
       322 天前
    @jjyyryxdxhpyy 好的,感谢
    ReyLouis
        25
    ReyLouis  
       321 天前
    今天还在 Product Hunt 上看到有个产品叫 what is the cat thinking ,UI 都很像
    xiaoboai
        26
    xiaoboai  
       319 天前
    感觉挺棒的啊
    viazure
        27
    viazure  
       315 天前


    哈哈,有点意思
    Rorysky
        28
    Rorysky  
       311 天前
    star 了挺有意思,自己部署,需要 gemini 的账户么
    jjyyryxdxhpyy
        29
    jjyyryxdxhpyy  
    OP
       311 天前
    @Rorysky 需要,谷歌账户就行: https://makersuite.google.com/app/apikey
    lijingfu2077
        30
    lijingfu2077  
       273 天前
    想请教一下,部署到 vercel 上运行没有问题,本地执行 npm run dev 之后上传图片解析,调用请求报错。

    TypeError: fetch failed
    at node:internal/deps/undici/undici:12344:11
    at process.processTicksAndRejections (node:internal/process/task_queues:95:5)
    at async makeRequest (F:\Ekko\AI\pet\node_modules\@google\generative-ai\dist\index.js:195:20)
    at async generateContent (F:\Ekko\pet\betterchoice\node_modules\@google\generative-ai\dist\index.js:525:22)
    at async Array.eval (webpack-internal:///(api)/./pages/api/upload.js:79:24)

    请问能指点下吗
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2819 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 15:28 · PVG 23:28 · LAX 07:28 · JFK 10:28
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.