V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  povsister  ›  全部回复第 25 页 / 共 42 页
回复总数  827
1 ... 21  22  23  24  25  26  27  28  29  30 ... 42  
187 天前
回复了 beryl 创建的主题 程序员 技术方案讨论,移除实时日志中的敏感数据
老生常谈的问题了,没什么太多讨论的。
google:hidding sensitive data in log

我认为下策:在采集时直接替换
因为究其原因,它属于 sensitive 的原因是,有人的权限不够看而已。你直接采集时干掉就会影响后续一整条路的分析。而且分布式的采集,你更新屏蔽规则又要搓轮子。

举个例子:
我是做账号系统认证的,所有业务都集成我的认证中间件,这个中间件产生的 log 里含有用户 token ,业务研发看到之后可以拿用户的 token 去伪装用户身份。所以 token 不能给业务研发看。
但我是做账号系统的,这个 token 对我是有 debug 价值的(通过私钥解开后,可以看签发时间,是向哪个端签发的,对抗黑产很有用)

中策:采集后在日志网关统一替换
优点:规则集中管理
缺点:同上,没有原始数据。而且集中式处理在海量日志时 cpu 成本太高。依旧存在日志敏感内容泄露问题。

上策:zero trust 生产网络,禁止研发直连,日志原样采集存储,提供 clickhouse/es 平台的查询前端,前端展示时依据用户权限系统在查询网关吐出时做敏感信息遮盖。有查看需求的走审批流程。
优点:懒得分析了
缺点:没一个团队这个方案你怕是不好做

总之,这只是个道高一尺魔高一丈的对抗过程。服务都在研发手里,想要什么信息不是随便拿捏。
你需要做的是好好想想自己的威胁模型,你要控制/缩小哪些攻击面,可能遭遇什么类型的攻击。

通常来说,我遇到的提这个要求的,一般都是合规,不合规 toB 不好卖啊。
187 天前
回复了 wei784 创建的主题 宽带症候群 分享一下我的分流方案以及教程
全真 IP ,无 DNS 污染,geosite 按需分流,配置集中化管理,客户端 0 配置,可一键秒切任意内网 IP 科学/直连且无副作用。
https://github.com/povsister/v2ray-core
188 天前
回复了 unidotnet 创建的主题 宽带症候群 对家庭网络的监控大屏 [初始版]
@damichifan
是 grafana dashboard ,依赖被监控设备具有 SNMP 协议,backend 是 snmp exporter + prometheus
188 天前
回复了 129duckflew 创建的主题 Windows WakeOnLan 开机对休眠状态无效
你这个休眠,是 hibernation ,还是 Suspend to RAM
一般来说 Suspend to RAM 就可以了,hibernation 会有大量硬盘写入。
188 天前
回复了 xvnehc 创建的主题 NAS NAS 耗电飙升,有没有什么电费的优化方案
16T 氦气盘待机功耗约 8w 一块,群晖应该是吃掉你 40w+功耗,小米 be6500pro 我记得 acwifi 那边测试功耗是 10 多 w ,软路由算 15w ,这些加起来 65w 打底,加个光猫和一堆风扇,80w 很合理了。
要降功耗,你只能把群晖关了。
188 天前
回复了 unidotnet 创建的主题 宽带症候群 对家庭网络的监控大屏 [初始版]
提醒一下,mikrotik 有 SNMP ,ubnt ,pfsense 这种应该也有

https://i.imgur.com/4ShHZxU.png

https://i.imgur.com/ESgYkUA.png
你简历上不写工作履历的吗?
几年几次啊算频繁
上海已经普及智能电表,通过电网载波通信,局端就直接可以控制你家电表,包括但不限于:下发计费策略(用于本地显示峰谷电量/阶梯),远程抄表,远程断电。
@Night12138
感谢解毒,之前还一直心心念念想开精品网,现在看来 60 块不如选个 CN2 GIA 的小鸡。
年底就去和电信 battle 看能不能降一降资费,现在 180 还是千兆真的感觉亏,流量也不多,副卡还不免费
@PureWhiteWu
我觉得不算,上海本身就是出口区域,上海区域内没出现 202 的路由说明应该没挤 163
可以找个其他省份的 gov 网站(一般不套 CDN ),看看出省走的 202 还是 GIA
@Night12138
哎,你是之前那个活动,预存 2800 升 2000M 云宽,实付大概 180 一个月,合约 24 个月,然后又加了 60 块开精品网?
@linhu66
...还能这样,效果是两个公网 IP ,带宽叠加?
@linhu66
问题不大,有公网就行,没 ipv6 无所谓,我现在甚至没开 ipv6
@Mrealy
哎,之前都是 2000 下 200 上,300 的上是哪个套餐?
我千兆现在月付都快 190 了,感觉要抽空给电信上上强度了。
出国走的 59.43 是 CN2 没问题,而且国内没走 202 的 163 网,说明是 CN2 GIA
之前海外加速只需要开个权益包就行,现在那个业务已经被电信下了,进入提示你到云宽带内使用,查看云宽带权益,其中就很明确的说了,只有云宽带才能享受海外加速。
所以,大胆猜测,降本增效了吧。精品网业务变成云宽带独享了。。最近我拨号都还被局端强制重启光猫给踹下来,再拨号就是 vBRAS 了。。上海电信是真的新手段层出不穷
@justdoit123
粗略意义上正确,不过各家有各家的做法,rpc 的错误机制设计是要和可观测+trace+SLO 大盘联合起来考虑的。

业务错误不代表监控不需要关心,简单来说:
如果你只需要拒绝服务+返回错误,并且需要有一个自定义的 errcode 去表示这是什么类型的错误,同时附带一个简短的 readable 的说明(可以理解为 errcode 作为程序使用的描述,可以依赖 errcode 进一步执行某些程序化步骤,readable 的描述作为程序员阅读使用,方便快速识别问题),除此之外不需要向调用方传递更多的错误内容,那么就适合用 rpc error 来表示。
如果你要向调用方提供更多的关于错误的具体信息,深入绑定业务场景,那么就不适合当做 err 来处理,应该作为一个正常的 rpc 响应,此时的观测方案设计应该交由调用方手动填写 metric/log ,作为业务指标监控来看。

更深一步来说,还可以细分为业务错误(入参不合法,执行条件不满足,业务逻辑错误等等),框架及中间件错误( token 无效,malformed request ,调用超时,BBR 自适应限流,熔断错误等等),以 int64 作为 errcode 的取值范围的话,常见的方案是 0 为正常响应,errcode>0 的部分作为业务错误( eg:10001=余额不足),errcode<0 的部分作为框架及通用错误( eg:-400=请求错误/参数错误,-504=调用超时,-429=BBR 限流)

rpc error 本身已经有一套错误码了,这个通常称为大码,含义可以简单认为和 http code 相同,通常作为 transport 层的可观测手段,适用对象 API 网关,SLB 等基础 L3-L7 设施
业务 errcode 通常是选择 rpc error 中的 unknown error (例如 GRPC 为 status 2 )作为可扩展对象,这个称为小码,其作用就是,在 rpc 的底层 transport 没有问题的时候,用于传递业务+业务框架的错误,主要目的用于微服务治理和更细粒度的 SLO 观测
通常对于 rpc 来说,其框架已经定义过了错误,并且提供了错误的扩展(描述、details 等),就不要再把“业务错误”包装成正常响应返回了,否则你在可观测上会遇到不小麻烦。

而且,看你的设计,你在异常里,又返回了 data ,并且还描述了业务相关数据( out of stock ids ),那么你本质就不是想返回错误,而是告诉请求方你提交的哪些数据不合法。
这时候你就要反思你的设计:你究竟是想交互,还是想抛出错误?对于一个错误来说你返回的信息里包含了太多业务场景相关信息,没有通用性。应该考虑这是一次正常交互。

错误描述的扩展,应该是描述错误本身,首先,应该提供一个统一注册管理的 bizErrorCode ,这个是可观测的基础,同时应该提供 description ,这个是对错误的描述,提供一些场景、debug 信息,而且仅应该用于 localization 或者程序员调试使用。
1 ... 21  22  23  24  25  26  27  28  29  30 ... 42  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1038 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 30ms · UTC 22:11 · PVG 06:11 · LAX 14:11 · JFK 17:11
Developed with CodeLauncher
♥ Do have faith in what you're doing.