json 的键重复问题

[katsusan]

最近在写个 steam 的第三方 api，其中有个接口是返回当前联赛中的比赛详细资料。url 是下面这个：

https://api.steampowered.com/IDOTA2Match_570/GetLiveLeagueGames/v1?key=<apikey>

但它返回的 json 里英雄描述技能升级的 key 是重复的，这个应该是不符合 json 编码标准的吧(没想到浓眉大眼的沃尔沃也干了)，例如下：

"abilities":[  // <-这样的"abilities"键总共有 5 个(代表 5 个英雄的技能升级情况)
{
"ability_id":5106,   //唯一技能 ID
"ability_level":2  //技能等级
},
{
"ability_id":5107,
"ability_level":3
}
]
,
"abilities":[
{
"ability_id":5082,
"ability_level":3
},
{
"ability_id":5083,
"ability_level":2
}
]
,
"abilities":[
{
"ability_id":5122,
"ability_level":3
},
{
"ability_id":5123,
"ability_level":2
},
{
"ability_id":5125,
"ability_level":1
}
]

我尝试在结构体里用相同的 json tag 指定不同的字段但自带的 json 包好像解析不出来，求知道的大佬指点下。

	Abilities1 []struct {
		AbilityID    uint16 `json:"ability_id"`
		AbilityLevel uint8  `json:"ability_level"`
	} `json:"abilities"`
	Abilities2 []struct {
		AbilityID    uint16 `json:"ability_id"`
		AbilityLevel uint8  `json:"ability_level"`
	} `json:"abilities"`

上传了个返回 json 的例子：
https://github.com/Katsusan/go-dota2/blob/master/livinggames.json

[TommyLemon]

这都不是合法的 JSON，解析后就直接最后一个把上面的全覆盖了。
你把这段 JSON 复制粘贴到这个网站试试，用的是 js 原生的 JSON.parse 解析
http://apijson.org/

[zjsxwc]

这个反爬虫 666 ！

[zjsxwc]

@zjsxwc

如果是动态语言，简单字符串替换下把`abilities`替换为 `abilities__<index_num>`然后就可以处理了，

golang 这种碰到就难搞了

[katsusan]

@TommyLemon 是的，确认了的确不符合规范，但不知道 valve 这样做的用意是啥

[TommyLemon]

@katsusan 估计就不是按照 application/json 格式返回的，可能是 text/plain 这种

[chengfeng1992]

dota2 ？

这个是不是考虑自己先把 json 字符串特殊处理一下呢？

比如，trim 后直接把 ``` "abilities": ``` 全 remove 掉，然后用 ``` [] ``` 括起来。

[katsusan]

@zjsxwc 动态语言下的替换指的是正则匹配后替换还是，有思路的话 golang 应该实现也没问题。
主要是询问有没有碰到过或者见过第三方 json 库支持这种情况的。

[zhujinliang]

这种用遍历 Token 自己搞吧

[katsusan]

@TommyLemon 是按照 json 返回的，它有个?format=xxx 参数，不指定的话就返回 json，参考网站：
http://steamwebapi.azurewebsites.net/

[TommyLemon]

看到上面的链接，随便输入 key 点了下，发现 Response Header 里：
content-type: text/html

[TommyLemon]

@katsusan 那就很奇怪了，它的库有问题啊，居然支持在同一层级有同名的 key，或者压根就没用 JSON 库解析过，直接拼出来字符串返回

[zjsxwc]

@katsusan

字符串替换都可以。

golang 你也手动替换成合法的 json 吧，

1. 把第一个`"abilities":[` 替换为 `"abilities":[[`

2. 把最后一个`"ability_level":1}]` 替换为 `"ability_level":1}]]`

3. 把剩下的 `"abilities":[` 替换为 `[`

[katsusan]

@TommyLemon key 要去 steam 申请的，随便填应该会返回一个 forbidden 页面，所以是 html 格式，在 chrome 里可以直接看到：
```
Forbidden
Access is denied. Retrying will not help. Please verify your
key=
parameter.
```

[ihongren]

最外层是个数组吗？

[qwertyzzz]

dota2 ！ 我记得有个 opendota 和 varendata 的

[katsusan]

@ihongren 是的，以单场比赛为单位，json 附在 append 里了

[katsusan]

@qwertyzzz 是的，应该都是从 apisteam 里取得数据

[xqin]

都不在同一层级, 有啥问题? 哪重复了?
一个在 "radiant" 节点下, 一个在 "dire" 节点下.

类似于下面这样, 你能说下面的 `hello` 是重复键?
```
{
"a": {
"hello": 123
},

"b": {
"hello": 456
}
}
```


https://imgur.com/a/sLZdgW1

[TommyLemon]

@katsusan 这个我知道，一般只要 Request 能到达接口，处理后业务错误也应该返回和正确结果格式一致的 Response。
它既然都提示 key 有问题了，就说明已经经过接口处理过了。

[katsusan]

@xqin 每个 team 下都有 5 个 abilities 键

[ccpp132]

看看你用的 json 库有没有 sax 的接口，这种一般可行

[xqin]

@katsusan 你在 github 上发的那个数据, 并没有你说的这种情况.

[xqin]

@katsusan 不好意思, 看错了, 是我的那个 Chrome 插件解析之后,只剩 4 个了, 查看 原始的数据的时候, 里面是有很多个.

[vishva]

拿到 json 之后先别解析,将五个"abilities"字符串依次替换成"abilities0","abilities1"...再解析

[mengzhuo]

有个东西叫

json-to-go
https://mholt.github.io/json-to-go/

type AutoGenerated struct {
Abilities []struct {
AbilityID int `json:"ability_id"`
AbilityLevel int `json:"ability_level"`
} `json:"abilities"`
}

[gamexg]

https://github.com/buger/jsonparser

这种库可以处理这个问题。

[katsusan]

@mengzhuo 谢谢，这个工具不错，但刚才试了这种写法还是只会解析最后一组 abilities 数据。

[reus]

这个不难处理，用标准库就行，稍微加点技巧

https://gist.github.com/reusee/2cf9de7bbf46e6049a798630002db54b

就是用 json.Decoder.Token 方法把 "abilities" 读掉，然后用 Decode 方法解码后面的数组，直到 Token 返回 '}'