V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
janxin
V2EX  ›  程序员

利用深度学习将原型图转换为界面代码

  •  
  •   janxin · 2017-05-26 10:42:34 +08:00 · 3713 次点击
    这是一个创建于 2742 天前的主题,其中的信息可能已经有所发展或是发生改变。

    在满足足够训练模型之后是否可以替代程序员实现界面的编程效果呢?

    起码让程序代替人工实现编码功能已经不再遥远了吧。

    从演示视频中可以看到支持 iOS storyboard 和 Web Bootstrap。

    Transforming a graphical user interface screenshot created by a designer into computer code is a typical task conducted by a developer in order to build customized software, websites and mobile applications. In this paper, we show that Deep Learning techniques can be leveraged to automatically generate code given a graphical user interface screenshot as input. Our model is able to generate code targeting three different platforms (i.e. iOS, Android and web-based technologies) from a single input image with over 77% of accuracy.

    视频: https://youtu.be/pqKeXkhFA3I

    项目相关信息: https://github.com/tonybeltramelli/pix2code

    8 条回复    2017-05-27 11:47:26 +08:00
    Morriaty
        1
    Morriaty  
       2017-05-26 10:58:32 +08:00
    扫了眼论文,网络结构倒是蛮复杂的,大致相当于 XML 的生成模型,不过这离 AI 替人编程还差的远吧.....

    人类的编程过程可是 输入逻辑 输出代码,这应该是 NLP,不是 CV 啊。
    bumz
        2
    bumz  
       2017-05-26 11:09:13 +08:00
    从原理上真没什么稀奇的

    至于说什么离自动编程又近了一步——别做梦了

    自动编程 NLP 也是没用的,NLP 顶多帮人做一些苦力

    视频中 CV 的应用也是一样。
    Yinz
        3
    Yinz  
       2017-05-26 11:19:52 +08:00
    @bumz 把别人的成果踩得一文不值,不好吧
    reus
        4
    reus  
       2017-05-26 11:30:50 +08:00
    别做梦了。
    lizon
        5
    lizon  
       2017-05-26 11:56:40 +08:00
    先让深度学习学会怎么引导产品(策划)把自己的需求搞清楚再考虑“让程序代替人工实现编码功能”
    wsy2220
        6
    wsy2220  
       2017-05-26 12:00:14 +08:00
    这个不用深度学习也能做到吧
    yidinghe
        7
    yidinghe  
       2017-05-26 12:07:59 +08:00
    @wsy2220 不用深度学习,人类也能下围棋
    bumz
        8
    bumz  
       2017-05-27 11:47:26 +08:00
    @Yinz #3 我可没说它一文不值

    帮人做一些苦力,这就是它的价值所在呀

    做梦是好的,但是不切实际的梦,恐怕只会把无数努力白白浪费
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4179 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 05:21 · PVG 13:21 · LAX 21:21 · JFK 00:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.