V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  anubu  ›  全部回复第 6 页 / 共 30 页
回复总数  583
1 ... 2  3  4  5  6  7  8  9  10  11 ... 30  
2024-01-10 15:39:02 +08:00
回复了 fdghjk 创建的主题 Docker 国内最好用的 Docker 源是哪个 各位
@Masoud2023 可能太久没折腾 docker 环境了,请教一下最新的使用 docker 拉取 ghcr.io 仓库镜像的方法。现在已经改一下 JSON 就可以拉取了吗?以前还是要在 daemon 上挂代理才可以。
2024-01-10 12:37:46 +08:00
回复了 fdghjk 创建的主题 Docker 国内最好用的 Docker 源是哪个 各位
很久没用了,印象中没有特别好用的。

就拉取镜像来说,docker 的 registry mirror 算不上好的实践。因为仅支持 docker.io ,就算配置了好的 mirror ,gcr\ghcr\mcr\quay 等仓库还是拉取不到。只用 dockerhub 镜像的话应该还能接受。
使用代理是一个选择,但 docker 的代理稍微复杂,要先理清楚 docker client 、docker daemon 、docker container 代理的区别和配置方法。
有点重,移动的时候保护好手、脚、腰,避免受伤。
2024-01-04 17:24:14 +08:00
回复了 sixlione 创建的主题 程序员 请问各位 V 友,现在哪个部署本地的 LLM 比较好?
这个硬件配置无法满足训练,不加硬件的话只能勉强跑推理,需要附加自有知识就套一个 RAG 的前台。显存太小了,跑起来很勉强,需要仔细调一调向量模型和大语言模型,尽量维持显存不爆。
如果就是想部署起来玩一玩的场景,不仅仅是 requirements.txt ,其它的 package.json 、pom.xml 就算好点也有限,在 Dockerfile 面前都要低头。容器部署对于爱折腾部署的人就是福音,再也看不到玩具 A 和玩具 B 打起来逼你选边站的场景了,成年人主打一个全都要。
@yinft 不好意思,没有特别的资料。可以简单的按照官方文档拉一个容器看看,基本的监控应该都有的,更详细可能要看官方文档了。
2024-01-03 16:17:33 +08:00
回复了 Triump 创建的主题 程序员 实现一个企业内部知识库的问答机器人
前台项目主要有 FastGPT 和 langchain-chatchat ,基本都能开箱即用。FastGPT 完成度更高一些,但商业考量也多一些。进一步调优可能还是要看底层框架,langchain 、llama-index 等。有能力的话自己拿框架搓一个前台也可以。

模型还是看算力看规模,知识库类的一般要求不高。企业内部可能要自部署模型,chatglm3 、千问都可以,千问似乎更好一些。

关键词:RAG

真正落地能用还是要了解 RAG 应用的基本架构,各个流程节点也有很多优化措施值得摸索。
netdata 应该能满足要求。
https://github.com/netdata/netdata
2023-12-29 11:11:55 +08:00
回复了 iorilu 创建的主题 程序员 怎么感觉 v2 这里很少有 ai 或大模型开发相关得讨论啊
国内玩的话应该会接触到魔搭、autodl ,差不多就是 huggingface 、colab 一类,集成度比较低但能用。
模型和平台个人开发者应该没太多机会,都是比较重的方向。搞一些工具或应用,比如 RAG 、可控生成,似乎还有点意思。比如 langchian-chatchat 、fastgpt ,有能力也可以搞一搞应用框架一类。
目前的商业化落地比较困难,LLM 生态都是看着挺有意思,要做到能投产却很困难。有大量的开源项目,不怎么费力就可以跑个七七八八,但要做到融合到生产业务里就很困难了。基于 langchain 、llama-index 等框架,糊一个勉强能落地的应用,能从政企跟风项目层层外包中捞点汤喝已是不错的结果。
2023-12-23 21:49:39 +08:00
回复了 YVAN7123 创建的主题 职场话题 下班后喜欢做什么来放松自己?
躺沙发在电视上刷 B 站视频,上网冲浪,摆弄玩具。

晚上十点半到家意思是你喜欢下班后通过加班来放松自己吗。。。
2023-12-23 21:41:49 +08:00
回复了 hbhh479q 创建的主题 汽车 车方向盘上那些按钮都是用来干啥的
其实还挺有用的,右边是多媒体控制一类的,播放、暂停、上一曲、下一曲、音量、确认、返回等,主要就是听音乐、接电话用的多一些。左边是自适应巡航相关的,买车 2 年,没上过高速没用过。上高速前学了一下,还是挺好用的。不同车可能不一样,不过应该大差不差。

买车前千挑万选,价格、功能、用料、做工一通对比。买车后,啥都不是,能跑就行。
2023-12-23 21:27:03 +08:00
回复了 stonesirsir 创建的主题 生活 水龙头的位置离热水器太远,放热水要放很久
分两种情况:
第一种,心疼水费的。不要心疼,任何一种优化措施都比直接放掉更费钱。实在觉得浪费资源就拿盆接着冲厕所用。
第二种,不是心疼水费,就是想优化用户体验。要加钱,有效果,但很难说完美。

优化方案上面回答的有,基本也分两种:
第一种,全屋零冷水。基本逻辑就是不停循环,保证热水管一直有热水。优势是可以做到全屋各个用水点零冷水,劣势是这套系统要钱,已经装修完改造要钱,不停加热浪费能源也要钱。
第二种,小厨宝。基本逻辑就是在水龙头附近放一个热得快和储水箱。优势是设备成本、改造成本比较低,劣势是零冷水是单点的,不是全屋都有的。功率比较大,有安全隐患。

电热水龙头没研究过,净水有即热水龙头。不过自来水的流量比净水大多了,即热应该很难有效果。

一般来说,不是住别墅的,还是直接放水实在。
2023-12-20 17:35:28 +08:00
回复了 xmumiffy 创建的主题 生活 另一个角度:证明等额本金利息更高
“等额本息(20 年)每月还款额比等额本金(30 年)首月还款额还低,而且利息更是低了 25%.”

你是说你发现了租房子,租 2 个月比租 3 个月总价更低吗?不管你贷了 200 万还是 300 万,把你的房贷当做一个物品,利息当做租金。你租一个物品 20 年和 30 年的租金能一样吗?

金融搞复杂一点还是有用的,绕来绕去简单的常识都能把一部分人绕进去。
2023-12-20 11:44:01 +08:00
回复了 Cola98 创建的主题 Kubernetes 大佬们,请教一个 k8s 可靠性问题
到目前的讨论似乎有点混乱,需要准确定义一下“容器部署”,是 kind 这种整个集群在容器中的情况还是 kubeadm 集群组件使用 static pod 的情况。
kubeadm 是官方支持的部署方案,稳定性肯定没问题的。二进制部署有点过于 old school 的感觉,我个人没有用过,不认为能提供额外的稳定性,并且维护复杂。

另外,虚拟机上使用 kubeadm 标准部署,并没有特别的套娃。公有云应该是类似的结构,甚至托管的控制平面都是虚拟的。kind 类似方案有点套娃,但用于开发测试环境没有什么问题。
2023-12-19 11:18:31 +08:00
回复了 phytry 创建的主题 深圳 有车之后体会到深圳停车难的问题了
停车非常影响生活体验,该花钱花钱,算算一年多少钱,就当在游戏里氪金了。
@eephee 使用 kubeadm 部署的标准 k8s 集群,稳定性没有遇到特别大的问题,可能是规模比较小,稳定性要求也不高。使用 local pv 的话最好使用独立的磁盘,避免存储空间不足导致 Pod 调度异常。尽量避免在 k8s 集群上部署维护有状态应用集群,sts 集群在节点故障时处理起来很烦人。

大部分回复基于理想情况,最佳实践来评价这样做的坏处,的确没有错,说的风险也的确都存在。但实际做项目部署往往一言难尽,用户可能规模很小,或者只是初步的试用意向。如果要 k8s 集群 3master3worker ,MySQL 单机 1 台,minio 单机 1 台,Redis 单机 1 台等等,随随便便就小十台服务器是很难和人谈的。用户甚至希望服务器配置高一些,数量少一些都能接受。所以一个很自然的需求就是同一台高配服务器即部署基础组件,又能当做 k8s 工作节点。这个时候用 k8s 统一资源管理,也是一个选择。
几乎一样的场景,给客户部署的就是 MySQL 、mongodb 、redis 、minio 都部署在 k8s 集群中。尽量使用 helm 而不是 operator ,存储使用 local pv ,配合 node selector 强制绑定。
肯定不是最佳实践,但还要看具体场景。小规模客户,没有太多资源,在主应用必须部署到 k8s 的情况下,把其它组件拉到集群部署也是一种选择。本身也不是追求高可用、弹性调度,只是借助 k8s 部署和管理。实际上,客户规模够大,有能力的话,也不会同意这样的方案,直接把基础组件甩给客户基础设施团队是最好的。
1 ... 2  3  4  5  6  7  8  9  10  11 ... 30  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2784 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 32ms · UTC 12:10 · PVG 20:10 · LAX 04:10 · JFK 07:10
Developed with CodeLauncher
♥ Do have faith in what you're doing.