V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  iamtuzi3333  ›  全部回复第 1 页 / 共 4 页
回复总数  76
1  2  3  4  
43 天前
回复了 iamtuzi3333 创建的主题 数据库 大佬们,想请教一下数据库设计
@wxf666 我的意思是单表存一个传感器设备的数据,这样相对来说方便后续读取,数据字段可能还会添加。查询这个还好,现在加上了索引,即使我查询前几个月的数据也能够很快就响应了。写入这个问题暂时不管了,mongo 数据库就是吃内存,空间换时间了,还是谢谢大佬的指点,很强,这个测试能力。
44 天前
回复了 iamtuzi3333 创建的主题 数据库 大佬们,想请教一下数据库设计
@wxf666 哇塞,首先谢谢大佬指点,大佬很强,不好意思,我假期没看论坛。目前我是建了索引,基本上解决问题。看了您的测试,太强了,我深感自己缺少这个精神,汗颜。不过我觉得单表不适合多传感器数据的存储,一开始我就 pass 了,数据太过分散,不方便后续读取维护。sqllite 我看到了乙方存的是记录,他们用文件存数据,然后有记录索引,用起始位置来标记数据,这个方案比较难,对我个人来说;所以就考虑用 mongoDB ,现在确实好用,有了索引查询效率瞬间上来了,之前占用内存大可能因为写入较频繁,每秒实时写入。我现在改成了异步延时写入,一开始存到了 redis 的 list ,然后再去 list 取数据写入到数据库,算是减少了内存消耗。不过大佬的实践很强,有时间我试试该数据库以及您说的方案,再次感谢大佬的指点!!!
55 天前
回复了 iamtuzi3333 创建的主题 数据库 大佬们,想请教一下数据库设计
@rickiey 这个数据对 MongoDB 还算正常,只是比较吃内存。
@celaraze 是的大佬,目前我给单表的时间戳字段都建立了索引,写入过程需要一直维护这个索引,确实开销大,目前我的写入逻辑是批量写,异步定时每间隔 5 秒写入一批数据,数据接收村存到了 redis 的队列中,后面再从 list 中读取数据入库操作,这里采用了多线程,redis 的分布式锁,保证数据不重复不交叉,暂时应该还好,后续我想着继续把写入逻辑延迟,积累到一定数据量再写入,比如说几百条甚至上万条。小弟目前公司就我一个人,这个项目也是我全程一个人推进的,有点心累,接下来我花时间看看 TDengine 这个数据库,似乎这个还不错,非常谢谢各位大佬提供解决方案,小弟是真的感谢!
@wxiao333 是的,单集合存单传感器分表这个逻辑比较合理,索引就是维护需要系统开销。目前也在关注时序数据库,大佬说的查询那个功能确实比较优秀,接下来会重点花时间去了解时序数据库,目前物联网比较适合这类数据库,不过就是学习成本有点高,公司不等我哈哈哈。
56 天前
回复了 iamtuzi3333 创建的主题 数据库 大佬们,想请教一下数据库设计
@cavemannb 数据比较多,基本的关系型还是差点意思,同行业的很多公司是直接存文件,这个难度更大一点。查数据方面。
@zglzy 感谢,我查查,数据结构比较稳定。
56 天前
回复了 iamtuzi3333 创建的主题 数据库 大佬们,想请教一下数据库设计
谢谢各位大佬啦,小弟现在把对应的集合建立了时间戳字段建立了索引,速度立马起来了,优化到几十 ms 级别的查询时间;至于性能这个问题,写入肯定是没有问题,MongoDB 确实很优秀,简单好用;目前唯一的问题就是确实吃内存,这个修改了配置文件的参数目前还是没有办法避免,这个空间换时间确实无法避免;小弟去年刚毕业,来的一家小公司,只有我是搞开发的,领导把整个项目都丢给我了,小弟经验不足,所以有很多不同的地方,还请各位大佬多多指教。
56 天前
回复了 iamtuzi3333 创建的主题 数据库 大佬们,想请教一下数据库设计
@abcfyk 一个集合 8 万多,有几百个集合。数据库暂时不换了,目前建了索引,发现速度快了。
@wupher 也关心数据,目前加了索引,速度起来了。
@fengpan567 没有用过。

@wenxueywx 还在调研中。
@iyaozhen 目前我知道插入不是问题,目前是查询较慢,现在建立了索引,快起来了。
56 天前
回复了 iamtuzi3333 创建的主题 数据库 大佬们,想请教一下数据库设计
@forschers 这个数据库第一次听,主要是存储方便,读取简单。
@brant2ai 第一次听,我查询看看这种。
56 天前
回复了 iamtuzi3333 创建的主题 数据库 大佬们,想请教一下数据库设计
@sospopo101343793 一个集合 8 万多,有几百个集合,一起同时写入。不是说性能不好,目前我是没有建立索引,尝试建索引看看效果,目前查询是全集合扫描。
@2686291180 第二个操作暂时不会,先尝试建立索引看看效果。
56 天前
回复了 iamtuzi3333 创建的主题 数据库 大佬们,想请教一下数据库设计
@otakustay 目前是没有索引,但是数据集合比较多,有几百个,
@wxf666 差不多是这个量,后续还会增加设备,采样率会变,就是这个精度会变,这样建立索引方便吗,
@Mithril 刚才 explain 一下,目前是没有索引,全扫,花了 16 秒,500 多万条文档,下午给字段 checkTime 加上索引试一试看看效果如果。
56 天前
回复了 iamtuzi3333 创建的主题 数据库 大佬们,想请教一下数据库设计
@sagaxu 真的吗,那我就开干了,可以在已经插入数据的情况再去建立索引吗
56 天前
回复了 iamtuzi3333 创建的主题 数据库 大佬们,想请教一下数据库设计
@wxf666 是的,浮点数据这个字段是一个数组,里面数量就看设备的采样率决定。查询需要翻找某一段时间的所有浮点数数据出来。
@sagaxu 主要是更新索引很耗资源,当集合文档数上百万的时候,这个时候维护索引估计很难,而且不止一个集合,有几百个传感器
56 天前
回复了 iamtuzi3333 创建的主题 数据库 大佬们,想请教一下数据库设计
@lancelock 有一个关键字段就是数组,里面有 200 个元素,就是拆除 200 个 key 对应 value 么
@LieEar 开源的 influxdb 想试试,刚看了一下,发现还行,就是要拆数据字段,不知道查询效果怎么样,比如说多传感器能不能多表存储,就一个传感器一张表
56 天前
回复了 iamtuzi3333 创建的主题 数据库 大佬们,想请教一下数据库设计
@sagaxu 数据不是追加的,每秒都会有新的数据入库,设备数据采集频率很高,所以数据很多,比如说 200Hz ,就说明每秒都有一条数据出来,其中的 data 数组就存储了 200 个浮点数,这种情况下如何编写索引,遍历随着数据量增长,到后面基本没办法找去年的数据出来了。
56 天前
回复了 iamtuzi3333 创建的主题 数据库 大佬们,想请教一下数据库设计
@sunxvvv 现在有一个字段是 int 整形,存储的是当前时间戳的值,每条写入的时候都有会,这样子适合建立吗,真实查询数据的场景不是很多,偶尔需要查询。
@halov 直接占了快 60G ,同时他的 mapper file 会持续上涨,备用内存全是这个内容,导致可用内存最后剩下不到 100M ,服务器 192GB 的内存都给干满了。
@Mithril 是的,不涉及修改,就是现在数据入库我为了查询方便,就加了一个字段,这个字段存的值就是当前时间戳的值。
@encro 唉,难受,这个确实没办法完美解决,而且其他数据库适合存的情况下接口又不方便。哭了
56 天前
回复了 iamtuzi3333 创建的主题 数据库 大佬们,想请教一下数据库设计
@celaraze 我先搜一下,只有我一个人,顶着公司走,难受。。。
@Desdemor 似乎接口有点复杂,我先看看。
@zhazi 好的,我先去试试优化,其实 MongoDB 存是非常的方便,就是吃内存很严重,即使修改了配置文件的内容。
56 天前
回复了 iamtuzi3333 创建的主题 数据库 大佬们,想请教一下数据库设计
@yoyolichen 数据字段是一个值吗,就一个时间字段映射一个值? 现在麻烦的就是字段特别多,不同的类型也多,有数组这些。
56 天前
回复了 iamtuzi3333 创建的主题 数据库 大佬们,想请教一下数据库设计
@celaraze 数据是 loT 。但是时序数据库一个麻烦的点就是我没有找到有很好的字段支持,很多时序数据库都是一个时间点对应一个值,我的数据字段比较多,还有数组类型在里面,不好处理。
@seedhk 时间戳的值会一直变,这样索引更新不是更加消耗资源吗,单表数据量目前是 600 多万条文档了,每天 8 多万增加。
56 天前
回复了 iamtuzi3333 创建的主题 数据库 大佬们,想请教一下数据库设计
@corcre 一个点位的一个数的话时序数据库很方便,但是数据就很麻烦,我之前找过 influxdb ,感觉不太行。
56 天前
回复了 iamtuzi3333 创建的主题 数据库 大佬们,想请教一下数据库设计
@celaraze 文档的字段都是一致的,估计是,因为文档数量非常的多,每秒一条,一天有 8 万多条了。
56 天前
回复了 iamtuzi3333 创建的主题 数据库 大佬们,想请教一下数据库设计
@celaraze 索引没建立,我是按照一个时间戳字段去查询,这个值一直在变,没法用索引吧。
@flmn 我查一下这个。
1  2  3  4  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3391 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 16ms · UTC 11:27 · PVG 19:27 · LAX 03:27 · JFK 06:27
Developed with CodeLauncher
♥ Do have faith in what you're doing.