首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
V2EX
›
ghostwwg
›
全部回复第 13 页 / 共 13 页
回复总数
243
1
...
4
5
6
7
8
9
10
11
12
13
❮
❯
2018-11-06 11:04:19 +08:00
回复了
jahan
创建的主题
›
Elasticsearch
›
外行问一下, elasticsearch+kinda 可以做多复杂的大数据分析?
以下是我的 filebeats 配置文件:
-----------------
cat /etc/filebeat/filebeat.yml
-----------------
filebeat:
spool_size: 1024 # 最大可以攒够 1024 条数据一起发送出去
idle_timeout: "5s" # 否则每 5 秒钟也得发送一次
registry_file: ".filebeat" # 文件读取位置记录文件,会放在当前工作
目录下。所以如果你换一个工作目录执行 filebeat 会导致重复传输!
config_dir: "/etc/filebeat/conf"
output.kafka:
hosts: ["x.x.x.x:9091"]
topic: '%{[logstash_type]}'
partition.round_robin:
reachable_only: false
required_acks: 1
compression: gzip
max_message_bytes: 1000000
-----------------
cat /etc/filebeat/conf/pubservice.yml
-----------------
filebeat.prospectors:
-
tail_files: true
fields:
logstash_type: "pubservice"
paths:
- /var/log/pubservice.log
fields_under_root: true
json:
message_key: message
overwrite_keys: true
keys_under_root: true
-----------------
-----------------
我这边是走 filebeats -> kafka -> logstash -> elasticsearch 的数据流走向
logstash 根据『 logstash_type 』 字段做判断,塞进不同的 index 里面。
2: 没明白撒意思,手动建立 mapping 看需求,我是倾向于建的,这边不建立 mapping 的情况下,偶有数据类型不一致会丢
3: filebeats 只是抽数据的吧,建立 mapping 是在 ES 这里做的,你可以通过 es 的 template 接口去实现指定的 index 匹配一套 mapping.
4: 看上面的配置文件,grok 这个帮不了你,我也不熟
2018-11-06 10:47:12 +08:00
回复了
3s6i2o
创建的主题
›
宽带症候群
›
打算换路由求推荐
R7000 或者同级别封顶,高了真没撒意思。
2018-11-06 10:41:25 +08:00
回复了
luozhiyun
创建的主题
›
买买买
›
想入手个智能手表, 有推荐的吗?
itcwatch pro 玩了大半个月了,用着还行,全功能模式 3 天左右吧,官方推荐的 2+3 续航不虚。应用方面么,语音识别回复微信还不错,其它倒也没怎么扩展过。
1
...
4
5
6
7
8
9
10
11
12
13
❮
❯
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
2581 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 16ms ·
UTC 06:23
·
PVG 14:23
·
LAX 23:23
·
JFK 02:23
Developed with
CodeLauncher
♥ Do have faith in what you're doing.