有什么简便办法判断网页是哪国语言？

[akann]

在有些论坛里发言的甚至不知道说的是哪国语言，用谷歌翻译都无从做起。

[akann]

这个问题搜索引擎上搜了都找不到答案，看来还是比较难，但问的人还是挺多的，看来还是有需求的，实际上可以用个数据挖掘引擎就可以判断的，但好像现在还没有网站做这个。

[akann]

哦，找到了，
http://whatlanguageisthis.com/

[zxwind]

@akann 随便敲了一行乱码

fsdcw fwdf df wf fwe. fwef wefaqfa jojfewnf lfw?

判断出来是Polish

[akann]

@zxwind 哈哈，我敲进去，判断也不准确，判断是葡萄牙语或者菲律宾语，看来这个问题的确还是挺难的。

[kafka0102]

@akann 语言识别是个技术问题了。技术上来说是个分类问题。这方面的online api可能有一些，如果是工具包的话，tika对英文类语种支持的不错。语言识别最麻烦的是多语言混合的情况，比如一篇中文技术文章，结果以代码为主，中文很少，自然就倾向于识别成英文，但实际要处理成中文。我现在就是在tika的基础上，对亚洲语系的语料做了些处理，计算分类的概率时加了些判断，尽量让目标的中文页面识别准确些。

[raptium]

chrome 猜得挺准的啊

[akann]

@raptium chrome是根据页面源码的charset决定的，问题是同一个charset的页面可能会有多种语言啊，比如一个网站的charset一般都是一个，但是上这个网站的人可能使用多种语言，chrome就无能为力了。