V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  iamtuzi3333  ›  全部回复第 2 页 / 共 4 页
回复总数  76
1  2  3  4  
59 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@juvenn 我目前就是使用的 WiredTiger 引擎,然后数据模型都是 JSON ,插入的时候我特地转为 JSON 插入,查询的实时性要求性不高,现在招人初步判断就是因为写入数据速度太慢,跟不上接收数据的速度,导致全部堆积在内存中。
62 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@Haku 参数都按不死,疯狂吃,吃的只剩下十几 M 可用,内存一看全是映射文件占着茅坑。
62 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@AlanBrian 现在这个 MongoDB 用的社区版本,然后是 Window server 服务器,就是直接启动。
@Moyyyyyyyyyyye 小公司就一台服务器,没办法。
@xsi640 时序我看了一番,没发现有很合适的,主要是字段不方便存,很多时序数据库都是支持字段单值存储,我的数据字段重点是一个数组。
62 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
重要的业务场景就是存储不同传感器设备数据,保障完整性,可用性,然后一个需求就是能够方便查询数据,这也是我为什么想单个传感器单表存储,传感器数量多,数据比较高频,字段比较多,有没有大佬指点一下这方面改用啥时候好用一点,后台用 nodejs 或者 Java 写查询功能多一点。目前公司就我一个人顶着,有点难顶,还请各位大佬指教,服务器用的 Window server ,华为云服务器,配置不会太差,此前有个项目有 600 多个传感器,也用的 MongoDB ,一启动内存就慢慢被占用满,导致可用内存越来越少,影响其他项目运行。数据除了存库还有个写入文件保存,目前初步排查是因为写入速度跟不上接入速度,导致数据跟文件全部堆积在内存中。
62 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@bcllemon 时序数据库我还在找,但是数据是 JSON 对象,关键的字段 data 是一个数组,时序数据库大部分是存单个值,不太符合。
@KingPL 目前是还在找。
@975779964 目前传感器会有几百个,然后数据格式都是 JSON ,其中设备不同,字段也不同,然后传感器每秒上传数据,其中数据有多个字段,其中一个字段是数组,存的元素比较多,几百个,目前看了 influxdb ,他好像只支持单值存储,还有其他好推荐的吗。每个传感器单表就是不想多传感器数据混合在一起,最多的业务场景就是突然要查询某一段的历史数据。
@ktonline 这个全称是啥,大佬指点一下。
62 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@yinft 我限制了,但是还是用的很严重。
@AlanBrian 但是现在备用内存疯狂涨,把可用压榨到十几 M 了,我看了内存占用里面,备用内存中全是他的 mapper 映射文件,用量太厉害了。
@jason56 我用的新版本,就是这个引擎,内存设定的是 50 多 G ,
@pangdundun996 已经改了,但是效果不明显。
@GodIsJasonBourne 这个新版已经是这个设置,参数设置的 50 多 G 。
62 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@yinft 羡慕,咱们没人去搞 docker ,项目也是能 run 就行
62 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@wheat0r 原来这样子,那看来还是机器的问题了。
@ShuA1 那看来就是配置的问题了。现在这个问题比较难处理,难顶,现在准备更换存储方式了。
63 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@wheat0r 这个倒不会,同台服务器上面有个 sqlserver ,MySQL ,上面也是存了大量数据,但是未发现有这么吃内存,而且现在发现 mongo 太迟了,他的底层是内存映射( Memory-Mapped Files ) 来处理数据库文件,目的是尽可能将数据库数据加载到内存中以提高读写性能。MongoDB 默认会尽量使用可用的内存来缓存数据文件和索引,因此当数据集较大时,mongod.exe 可能会占用大量内存。
现在这是个无底洞,而且不会自动清除映射文件,全是占用在备用内存中,导致可用内存越来越少。现在我在想找新的数据库来替换了。
63 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
目前项目我停掉了,占用太多了,估计 mongo 就是吃内存,这个似乎是他原本就这么设计的。
63 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@pxllong 复制了一条,大概就是这样
insert query update delete getmore command dirty used flushes vsize res qrw arw net_in net_out conn time
*0 *0 *0 *0 0 0|0 0.0% 0.0% 0 6.49G 255M 0|0 0|0 111b 59.8k 6 Sep 19 19:25:06.463
*0 *0 *0 *0 0 1|0 0.0% 0.0% 0 6.49G 255M 0|0 0|0 112b 59.9k 6 Sep 19 19:25:07.463
*0 *0 *0 *0 0 0|0 0.0% 0.0% 0 6.49G 255M 0|0 0|0 111b 59.8k 6 Sep 19 19:25:08.463
*0 *0 *0 *0 0 0|0 0.0% 0.0% 0 6.49G 255M 0|0 0|0 111b 59.8k 6 Sep 19 19:25:09.464
*0 *0 *0 *0 0 1|0 0.0% 0.0% 0 6.49G 255M 0|0 0|0 112b 59.9k 6 Sep 19 19:25:10.463
*0 *0 *0 *0 0 4|0 0.0% 0.0% 0 6.49G 255M 0|0 0|0 514b 60.8k 6 Sep 19 19:25:11.463
*0 *0 *0 *0 0 0|0 0.0% 0.0% 0 6.49G 255M 0|0 0|0 111b 59.8k 6 Sep 19 19:25:12.464
*0 *0 *0 *0 0 0|0 0.0% 0.0% 0 6.49G 255M 0|0 0|0 111b 59.8k 6 Sep 19 19:25:13.464
*0 *0 *0 *0 0 1|0 0.0% 0.0% 0 6.49G 255M 0|0 0|0 112b 59.9k 6 Sep 19 19:25:14.464
*0 *0 *0 *0 0 2|0 0.0% 0.0% 0 6.49G 255M 0|0 0|0 321b 60.5k 6 Sep 19 19:25:15.464
63 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@pxllong 没法发图片,我打出来部分信息,每秒输出打印 10 条左右,有个 vsize 数据每条都是 6.49G ,
63 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@dejavuwind 不需要频繁查询,但是有时候需要翻查历史某一段时间的数据,我看过时序数据库,但是部分是单个时间单个数据,我的数据是{id:1,data:[1,2,3]}这种,有多个字段,data 是个浮点数数组,有时候会是 200 个数字。而且每个传感器一张表,时序数据库好像不太适合。热数据我都放在了 Redis 的队列中了。
63 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@liprais 有道理,我申请一下多节点服务器,但是这个估计有点难,1 这个我限制了一半内存,明天看看是啥效果,谢谢大佬解答。
63 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@liprais 但是吃的太厉害了,影响其他项目运行了,现在很难受,我不知道怎么改好一点,虽然他确实很好用,在考虑要不要换其他数据库了
63 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@pxllong 之前修改是 50GB ,但是还是吃的太厉害了,影响其他项目运行了,还有其他办法吗
@pandaidea 大佬,目前查询还好,我加了一个字段就是 unix 时间戳,查询的时候都是单集合查询,根据时间戳范围查询数据,但是现在发现 MongoDB 占内存非常严重,持续压榨可用内存,而且这个进程也是占用了大量的内存,很难受。
@lmq2582609 大佬,我现在发现这个问题了,吃内存非常严重,192GB 的服务器直接把可用内存干到十几 M 了,这个有办法解决吗
今天又是上班的一天,早上摸鱼了一阵,这几天都在排查服务器问题,发现 mongo.exe 把服务器可用内存挤压的很小,基本没法用了,这点目前没有解决,领导又讲了一下要用什么技术解决其他项目的问题,每天混着问题过日子,有点腻了,自己又不想太折腾。
@finolaire 羡慕!
@Jony4Fun 也是,环境太差了,而且这行有时候还是很累的。
@zw1one 感觉啥也没有兴趣,只想躺着。
@theprimone 那你已经是前端大佬了。

现在没啥兴趣,打工纯就是为了生存,唉,难顶,生态不太端正了。

@laminux29 大佬,你懂 MongoDB 进程为什么会提交很多作业吗,我看了一下服务器,提交了 40 多 GB 的作业,很多 mapper 文件,导致服务器可用内存越来越少。
1  2  3  4  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2619 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 17ms · UTC 15:34 · PVG 23:34 · LAX 07:34 · JFK 10:34
Developed with CodeLauncher
♥ Do have faith in what you're doing.