V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
The Go Programming Language
http://golang.org/
Go Playground
Go Projects
Revel Web Framework
Wangds
V2EX  ›  Go 编程语言

用 go 写爬虫需要解析动态页面,有什么方案吗?

  •  
  •   Wangds · 2020-12-09 19:42:34 +08:00 · 2306 次点击
    这是一个创建于 1445 天前的主题,其中的信息可能已经有所发展或是发生改变。

    页面的内容是 js 生成的

    7 条回复    2020-12-13 21:52:21 +08:00
    tobb
        1
    tobb  
       2020-12-09 20:40:20 +08:00
    翻译 js 函数到 go 吧
    dreasky
        2
    dreasky  
       2020-12-09 21:32:32 +08:00
    chromedp 简单粗暴
    BoarBoar
        3
    BoarBoar  
       2020-12-09 22:54:40 +08:00
    goquery,语法和古老的 jquery 基本一致
    tikazyq
        4
    tikazyq  
       2020-12-10 09:42:06 +08:00
    Wangds
        5
    Wangds  
    OP
       2020-12-11 10:34:27 +08:00
    @tikazyq 你好,看了 rod,感觉挺不错的,用什么方法获取整个页面的 html 呢?在文档找了好几圈,没找到
    hmoe
        6
    hmoe  
       2020-12-11 13:16:03 +08:00
    @Wangds page.MustElement("html").HTML()
    longfei210
        7
    longfei210  
       2020-12-13 21:52:21 +08:00
    colly
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2770 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 07:44 · PVG 15:44 · LAX 23:44 · JFK 02:44
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.