谢谢大家的建议，问题已经解决了，不过原因跟大家想的不太一样。问题原因在于自己本地生成过一次公钥和私钥，现在使用的私钥是从其他机器上拷贝过来替换的，但是还保留着之前的公钥文件，ssh 连接的时候如果客户端存在公钥会针对该公钥验证私钥（只是我的猜测），解决方案只要删除对应文件名的.pub 文件即可。