Python 如何提取非结构化数据

[anonymoustian]

现在有一行行的文本数据（ DNS 日志），是非结构化的，但是也有结构，比如

ad=0 cd=0 rcode=ok qdcount=1 ancount=0 nscount=0 arcount=1 src=232.190.252.222 dst=45.80.170.1 这种

如何提取出指定字段的行呢？ 比如过滤出 rcode=ok 的字段行，或者如何将这些数据变成结构化的，比如对应到一个 表格里，如果有的话 就为 “=” 后面的值，如果没有就为空

[matsuz]

正则表达式

[lastpass]

py 不知道。
antlr 倒是非常简单。

[anonymoustian]

@matsuz 谢谢老哥，除了正则还有什么方便的库么

[zjsxwc]

C 语言可以 sscanf

Python 可以 正则

[recall704]

如果只是这种，不是可以按空格分割吗？

[anonymoustian]

@recall704 是可以按照空格分割，但是比如说我想提 src=232.190.252.222 后面的 ip 地址，我在想有没有这种方法可以直接 getline('src') 这种 好像也不麻烦哈~ 而且字段不一定存在

[matsuz]

@lastpass 你这种结构的最合适的就是正则

```python
import re

match = re.match(
r'ad=([^ ]+)\W+cd=([^ ]+)\W+rcode=([^ ]+)\W+qdcount=([^ ]+)\W+ancount=([^ ]+)\W+nscount=([^ ]+)\W+arcount=([^ ]+)\W+src=([^ ]+)\W+dst=([^ ]+)',
'ad=0 cd=0 rcode=ok qdcount=1 ancount=0 nscount=0 arcount=1 src=232.190.252.222 dst=45.80.170.1',
)

for i in range(1, 10):
print(match.group(i))
```

[e2c]

这么简单的文本，可以自己解析了

[CEBBCAT]

为什么我想到的是两个 spilt ？我思维太初级了？

[Kilerd]

这么简单的处理都写不出来吗？

[Kylin30]

要我这外行来搞的话，那就直接先 split 空格然后 split 等号，2 个循环就变成了一个 dict，之后处理就很随便了。每行格式固定的话，不计较什么性能代码好看的还是非常简单的。
希望有大佬来说说，看看有什么高级搞法学习一下。

[westoy]

from collections import defaultdict
import re

ini = defaultdict(lambda: None, re.findall('(?:^|\s+)([^\=]+)\=([\S]+)','''ad=0 cd=0 rcode=ok qdcount=1 ancount=0 nscount=0 arcount=1 src=232.190.252.222 dst=45.80.170.1'''))

print(ini['helloworld'], ini['src'])


如果结构复杂一点， 比如 xx=xx xx="yy" xx='yy' xx='zz abc'这种， 用 pyparsing 更方便一点

[Levox]

``` python
>>> s = 'ad=0 cd=0 rcode=ok qdcount=1 ancount=0 nscount=0 arcount=1 src=232.190.252.222 dst=45.80.170.1'
>>>
>>> from urllib import parse
>>> d = parse.parse_qs(s.replace(' ', '&'))
>>>
>>> d['src']
['232.190.252.222']
>>>
```

[secsilm]

@CEBBCAT split 不低级，而且比 re 模块快

[911speedstar]

非结构化用正则，结构化用 xpath。。。

[mintist]

先 split，然后用个 json 来结构化存储

[lastpass]

@matsuz 不不不，正则并没有 antlr 强大。而且正则那又臭又长辣眼睛的代码无论是写还是维护都是灾难。所以，我目前项目里处理这种字符串都是使用的 antlr。

[jiaqiangbandongg]

s = "ad=0 cd=0 rcode=ok qdcount=1 ancount=0 nscount=0 arcount=1 src=232.190.252.222 dst=45.80.170.1"
data = dict(map(lambda x:x.split("="),str.split()))
print(data["rcode"])

[jiaqiangbandongg]

一行处理就够了

[dartabe]

split 之后存个字典 再查找键值就行了 求大佬评价一下。。。

[LokiSharp]

用 pyparsing 定义语法之后解析

[yuhr123]

split 生成以空格分割的列表，迭代列表查找=号所在位置，用这个位置坐切片取封号前面的字符串，和你需要的字符串做 if 判断。

[niknik]

以空格 split 啊，然后转 json

[shuax]

直接两次 split 多简单啊

[capric]

src = 'ad=0 cd=0 rcode=ok qdcount=1 ancount=0 nscount=0 arcount=1 src=232.190.252.222 dst=45.80.170.1'
dst = dict(parts.split('=') for parts in src.split())
print(dst.get('ad'))

[thautwarm]

除开正则还有各种文法库。

比如我写的一个库的话，
import rbnf.zero as ze
ze_exp = ze.compile("""
import std.common.[Number Name Space]
Pair ::= keys=Name '::=' values=(~Space)*
-> (k.value, "".join(x.value for x in v))
Row ::= pairs=Pair+ -> dict(pairs)
Logs ::= (rows<<Row '\n'+)+ -> rows
"""
ze_exp.match("你的日志字符串").result

[www5070504]

两个 split 加上 字典推导式 用默认字典可以避免键可能不存在的情况

[btv2bt]

应该可以直接转 dict 吧

[C0dEr]

@lastpass 最近在搞 antlr，有啥好的资料看看吗

[TheBestSivir]

看你的场景咯。你对性能有需求么？有的话还是不要正则了。另外，这种简单场景正则真的有利于维护么？？？

[hakono]

噗，其实说真的，如果要搜索的字符串格式固定的话，首先想到的不应该是转为 dict，而是
for line in log_lines:
if "rcode=ok" in line:
xxxxxxxxxxxxxxxxxxx

[caryqy]

cat dns.log | awk -F ' ' '{print $3}' >> res.log

[caryqy]

cat dns.log | awk -F ' ' '{if ($3=="rcode=ok") {print $3} else {print "rcode=error"}}'

[omph]

http://pypi.python.org/pypi/parse
类似于 C 语言的 sscanf 字符串扫描

[bumz]

用 BNF 写一下文法？然后用 BNF Parser Generator 生成一下相应的解析器

（其实这种正则就行，逃
（再复杂直接用递归下降写就好

[freakxx]

content = "ad=0 cd=0 rcode=ok qdcount=1 ancount=0 nscount=0 arcount=1 src=232.190.252.222 dst=45.80.170.1 test test2"

1
直接字符串判断
rocde_is_ok = "rcode=ok"
rocde_is_ok in content

2

pairs = content.split(' ')

content_dict = {}
for name_value in pairs:
nv = name_value.split('=', 1)
if len(nv) != 2:
nv.append("")

key, value = nv
content_dict[key] = value

[saulshao]

上来就先 Split，然后写个函数分析 split 之后的结果，决定要不要将每个=加入最终结果。
我不建议用正则，你这个规律性太强了......

[lastpass]

@C0dEr 我看的就是 The Definitive ANTLR 4 Reference 这本书。简单易懂\(//∇//)\。

[wonderay]

https://github.com/google/textfsm/wiki

解析半结构化的的数据，满足你的一切需求
如果不是很复杂还是用正则吧

[shawndev]

空格换成换行就是 ini 格式了。

[shawndev]

空格换成&，前面随便添加一个 baseUrl，用现成的 url 解析库解析。