V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
testVmap
V2EX  ›  Linux

Linux 服务器 cpu ni 占用率很高,被入侵过应该如何排查问题

  •  
  •   testVmap · 2018-05-21 16:57:11 +08:00 · 5648 次点击
    这是一个创建于 2413 天前的主题,其中的信息可能已经有所发展或是发生改变。

    详情: 服务器被黑过,cpu 的 ni 占用率很高,loadaverage 也很高,应该如何排查有问题的进程。 系统: 4 核 8G CentOS Linux release 7.2.1511 (Core)

    top 命令结果
    top - 16:46:40 up 4 days, 23:38,  2 users,  load average: 4.35, 4.30, 4.31
    Tasks: 146 total,   2 running, 144 sleeping,   0 stopped,   0 zombie
    %Cpu(s):  0.1 us,  0.0 sy, 99.9 ni,  0.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
    KiB Mem :  8010524 total,  4296640 free,  1017188 used,  2696696 buff/cache
    KiB Swap:  1048572 total,  1039052 free,     9520 used.  5176172 avail Mem 
    
      PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                                                          
    30060 root      20   0 5259924 141036  18488 S   0.7  1.8   0:22.02 node                                                                                             
      975 root      20   0  114452   3408    992 S   0.3  0.0   1:04.21 hosteye                                                                                          
     2952 root      20   0 1293876  12520   1056 S   0.3  0.2  22:46.92 redis-server                                                                                     
    30055 root      20   0 5259916 162624  18572 S   0.3  2.0   1:17.48 node                                                                                             
    31983 root      20   0  148220   2088   1468 R   0.3  0.0   0:00.91 top                                                                                              
        1 root      20   0  127320   3232   1848 S   0.0  0.0   0:08.40 systemd                                                                                          
        2 root      20   0       0      0      0 S   0.0  0.0   0:00.00 kthreadd                                                                                         
        3 root      20   0       0      0      0 S   0.0  0.0   0:00.58 ksoftirqd/0                                                                                      
        5 root      20   0       0      0      0 S   0.0  0.0   0:00.00 kworker/0:0H                                                                                     
        7 root      rt   0       0      0      0 S   0.0  0.0   0:00.08 migration/0                                                                                      
        8 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rcu_bh                                                                                           
        9 root      20   0       0      0      0 R   0.0  0.0   2:09.62 rcu_sched                                                                                        
       10 root      rt   0       0      0      0 S   0.0  0.0   0:02.64 watchdog/0                                                                                       
       11 root      rt   0       0      0      0 S   0.0  0.0   0:02.12 watchdog/1  
    
    
    第 1 条附言  ·  2018-05-22 16:12:00 +08:00

    #sysdig -c topprocs_cpu

    CPU%                Process             PID                 
    --------------------------------------------------------------------------------
    99.70%              <NA>                719
    99.70%              <NA>                725
    98.70%              <NA>                724
    98.70%              <NA>                722
    0.00%               oracle              10187
    0.00%               hosteye             988
    0.00%               V8                  4374
    0.00%               oracle              6393
    0.00%               gdbus               534
    0.00%               <NA>                9230
    

    直接杀了kiil -9 杀了一个进程后,服务器暂时恢复正常

    Tasks: 155 total,   2 running, 153 sleeping,   0 stopped,   0 zombie
    %Cpu(s):  0.7 us,  0.2 sy,  0.0 ni, 98.8 id,  0.2 wa,  0.0 hi,  0.0 si,  0.0 st
    KiB Mem :  8010524 total,  2815372 free,  1208116 used,  3987036 buff/cache
    KiB Swap:  1048572 total,  1039200 free,     9372 used.  4960176 avail Mem 
    
    
    10 条回复    2018-06-17 15:33:21 +08:00
    skylancer
        1
    skylancer  
       2018-05-21 17:25:05 +08:00
    ni 很高,top 又看不出异常
    那不先看看是不是 top 和 ps 被替换了?
    jssyxzy
        2
    jssyxzy  
       2018-05-21 17:31:15 +08:00
    鸟哥私房菜 里面有专
    youyoumarco
        3
    youyoumarco  
       2018-05-21 17:42:32 +08:00
    简单暴力的方法:备份重要数据,直接装系统。生产环境集群模式下推进。独立服务器的话,就需要排查命令是否被替换,看看端口的连接情况,和自己的备份版本做文件比对或者 MD5 对比。
    realpg
        4
    realpg  
       2018-05-21 18:08:54 +08:00
    被黑过,在没有牛逼运维的情况下,必须重做系统。
    Actrace
        5
    Actrace  
       2018-05-21 19:05:43 +08:00
    这是,被人拉出来挖矿了?
    一般来说没救了,直接重装系统吧。
    soho176
        6
    soho176  
       2018-05-21 19:09:19 +08:00
    入侵的漏洞不修复 装系统也没用。
    defunct9
        7
    defunct9  
       2018-05-21 21:26:26 +08:00 via iPhone
    开 ssh,让我上去看看
    msg7086
        8
    msg7086  
       2018-05-22 00:27:54 +08:00
    被黑过还折腾啥?核心系统文件说不定都被替换了个爽,格盘重装啦。
    pony279
        9
    pony279  
       2018-05-22 09:12:32 +08:00   ❤️ 1
    realpg
        10
    realpg  
       2018-06-17 15:33:21 +08:00
    你既然问了问题,说明你没有 handle 这个问题的能力和知识

    所以解决方案是唯一的:重装系统
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2649 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 15:16 · PVG 23:16 · LAX 07:16 · JFK 10:16
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.