V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
OysterQAQ
V2EX  ›  分享创造

Pixivic.com 一个免费 Pixiv 高级会员搜索的站点 3.0

  •  2
     
  •   OysterQAQ ·
    OysterQAQ · 2019-10-27 13:17:25 +08:00 · 19664 次点击
    这是一个创建于 1857 天前的主题,其中的信息可能已经有所发展或是发生改变。

    前言

    时间如白驹过隙(没有什么文化,感慨的话说不出来),距离1.0发布已有一年,对我来说,3.0与之前最大变化可能是自己终于能从前后都写的境地中解放出来:)(有三个咸鱼前端开发老哥,春招一起找工作认识的网友,以后应该能发展成线下的好朋友)。

    以下仅仅是后端发布上线,前端正在开发中(预计十一月底或者十二月上线)

    About Code

    架构图

    Bright Point

    • 基于注解的基础设施模块
    • 基于ElasticSearch的近实时搜索
    • 基于Logstash的同步
    • 基于JDK 11Httpclient
    • Restful API

    About Feature

    检索

    • 根据画师 id 检索画师
    • 根据画作 id 检索画作详情
    • 依赖于saucenao的以图搜图
    • 依赖于Pixiv的相关性 tag
    • 依赖于Pixiv的搜索词自动补全
    • 依赖于百科的搜索词->词条的尝试(搜索建议)
    • 多关键词搜索(空格切分)
    • 自动翻译
    • 更高的定制性(长宽、画作类型、创建时间等)

    排行

    • 日、周、月排行的查看

    spotlight

    • spotlight 主题画辑的查看

    ACG 资讯

    • 集合资讯查看

    Common

    • 用户模块
    • 收藏画作
    • follow 画师
    • 查看画师画作
    • 给画作添加 Tag(暂未实现)
    • 用户行为追踪与还原(时间轴)、支持自定义书签(备份点)(暂未实现)
    • 喜爱画作分享到社群
    第 1 条附言  ·  2019-10-28 09:44:21 +08:00
    被人恶意搜索政治有害图片举报,暂时关闭,处理敏感词汇搜索
    第 2 条附言  ·  2019-10-28 18:41:40 +08:00
    除了承诺开放的 api 外,以上 api 未来可能会开启权限控制,将会针对用户来进行流量控制,未登录将不能使用
    50 条回复    2022-06-22 23:29:27 +08:00
    yaohege
        1
    yaohege  
       2019-10-27 13:29:16 +08:00 via Android
    前排膜拜
    0o0O0o0O0o
        2
    0o0O0o0O0o  
       2019-10-27 13:29:32 +08:00 via iPhone
    感谢。

    记得 2.0 的时候有个随机图片的 API,3.0 的文档里没看见
    OysterQAQ
        3
    OysterQAQ  
    OP
       2019-10-27 13:30:53 +08:00
    @0o0O0o0O0o 还未开发完毕,现在的做法效率太差,等开发完毕了会单独发布供大家使用
    X2031
        4
    X2031  
       2019-10-27 13:35:58 +08:00
    老哥这个站 备案 不太安全吧
    OysterQAQ
        5
    OysterQAQ  
    OP
       2019-10-27 13:45:38 +08:00 via iPhone
    @X2031 都是绿色内容啊🐶
    X2031
        6
    X2031  
       2019-10-27 13:56:04 +08:00
    @OysterQAQ 有点道理。 之前做个类似的站点,迫于成本和盈利模式 。后来放弃~
    Darkside
        7
    Darkside  
       2019-10-27 13:57:12 +08:00
    已收藏,估计会推荐给同学用,感谢您的创作!
    Babylon27
        8
    Babylon27  
       2019-10-27 14:18:50 +08:00 via iPhone
    感谢分享
    ShinomiyaKaguya
        9
    ShinomiyaKaguya  
       2019-10-27 14:20:16 +08:00
    支持,希望
    cairnechen
        10
    cairnechen  
       2019-10-27 14:22:03 +08:00
    哇,今天刚想找一个能搜索 Pixiv 的工具,好巧,感谢,支持!
    dcalsky
        11
    dcalsky  
       2019-10-27 15:06:14 +08:00 via Android
    如何盈利?没看见广告
    ashine
        12
    ashine  
       2019-10-27 15:49:52 +08:00
    可以申请一波友链吗? https://gal.voiux.com
    OysterQAQ
        13
    OysterQAQ  
    OP
       2019-10-27 16:29:47 +08:00 via iPhone
    @dcalsky 暂时没有盈利模式,明年再考虑是在瀑布流中像 pinterest 那种插入广告还是高级功能订阅
    OysterQAQ
        14
    OysterQAQ  
    OP
       2019-10-27 16:34:09 +08:00 via iPhone
    @ashine 可以呀,参考我们友链的格式给出
    mokeyjay
        15
    mokeyjay  
       2019-10-27 17:16:35 +08:00
    好强啊,赞
    digimoon
        16
    digimoon  
       2019-10-27 18:14:30 +08:00
    能不能在搜索结果的那堆小图里加入跳转到 pixiv 原页面的功能?真的好慢啊
    RicardoY
        17
    RicardoY  
       2019-10-27 18:35:21 +08:00 via Android
    这个网站真是越做越好了...在群里一些年纪小的爱好者已经不知 pixiv 只知 pixivic 了
    OysterQAQ
        18
    OysterQAQ  
    OP
       2019-10-27 18:46:50 +08:00 via iPhone
    @digimoon 有的,点击大图就会跳
    OysterQAQ
        19
    OysterQAQ  
    OP
       2019-10-27 18:47:02 +08:00 via iPhone
    @RicardoY 惶恐
    digimoon
        20
    digimoon  
       2019-10-27 19:51:21 +08:00
    @OysterQAQ 就是因为大图太慢了,要刷出占位才能点,经常性刷不出
    OysterQAQ
        21
    OysterQAQ  
    OP
       2019-10-27 20:02:36 +08:00
    @digimoon 到时候让前端安排一下
    wzw
        22
    wzw  
       2019-10-27 21:01:10 +08:00
    想知道你的架构图 用什么画的, 很好看
    OysterQAQ
        23
    OysterQAQ  
    OP
       2019-10-27 21:06:19 +08:00   ❤️ 1
    @wzw 哈哈哈每次都有人问,是 xmind zen
    echopan
        24
    echopan  
       2019-10-27 21:49:32 +08:00
    膜拜大神,求扩列
    OysterQAQ
        25
    OysterQAQ  
    OP
       2019-10-27 22:05:07 +08:00
    @echopan 不是大佬 可以加我的一个程序员小群,里面都是今年六月毕业的朋友,群号 963551053
    chainmon
        26
    chainmon  
       2019-10-27 22:53:07 +08:00 via Android
    大佬的 intro 页居然是我的模板,荣幸啊
    https://github.com/nexmoe/single-page/blob/master/README.md#mixcm-avatar
    OysterQAQ
        27
    OysterQAQ  
    OP
       2019-10-27 23:07:59 +08:00
    @chainmon 你的时间轴非常简约好看~
    Caturra
        28
    Caturra  
       2019-10-27 23:18:43 +08:00
    不错的站点,不过火狐似乎用不了?
    echisan
        29
    echisan  
       2019-10-28 08:28:18 +08:00 via iPhone
    🐛
    Simcentric
        30
    Simcentric  
       2019-10-28 09:07:51 +08:00
    膜拜大神
    98jiang
        31
    98jiang  
       2019-10-28 09:07:58 +08:00
    用过几次,支持~
    deathscythe
        32
    deathscythe  
       2019-10-28 11:03:12 +08:00
    P 站呢,一直存图一直推荐,每张都好看, 停不下来啊 /滑稽 /手动狗头
    mouyase
        33
    mouyase  
       2019-10-28 11:34:19 +08:00 via Android
    居然突然就发新版了…
    OysterQAQ
        34
    OysterQAQ  
    OP
       2019-10-28 11:40:15 +08:00
    @mouyase 不突然了,一年了都
    dapang1221
        35
    dapang1221  
       2019-10-28 18:47:24 +08:00
    泼个冷水…我几年前爬过 pixiv 数据,那时候用 api 爬还很好用,爬了大概几天的增量之后,我就发现一个问题


    还不如不直接买个高级会员的账号,拿到登录态,再把所有搜索请求转发过去了……
    dapang1221
        36
    dapang1221  
       2019-10-28 18:52:12 +08:00
    补充一哈,其实还不是只爬增量就够了,相当于每一次更新都是爬全量,因为每个图的收藏数和 tag 都是在变化的…当时搞了个分布式的爬虫,虽然没几个节点。搜索用的是 sphinx
    OysterQAQ
        37
    OysterQAQ  
    OP
       2019-10-28 18:53:47 +08:00
    @dapang1221 实际上 1.0 版本就是转发请求实现。。。但是并发上去会被封账号,增量当然是要基于全量的基础上做增量,这东西挺敏感的,不说太说了
    6IbA2bj5ip3tK49j
        38
    6IbA2bj5ip3tK49j  
       2019-10-28 19:25:31 +08:00
    真厉害
    数据库 mariaDB+redis,es 做搜索
    Springboot
    前面套了一个 cdn
    能画成这样,不去做架构师真的屈才了。
    OysterQAQ
        39
    OysterQAQ  
    OP
       2019-10-28 19:46:15 +08:00 via iPhone
    @xgfan 👍🏻
    OysterQAQ
        41
    OysterQAQ  
    OP
       2019-10-28 20:58:06 +08:00 via iPhone
    @aver4vex 级别需要在限制一下
    OysterQAQ
        42
    OysterQAQ  
    OP
       2019-10-28 21:18:59 +08:00
    @aver4vex 能提供搜索词吗 我看看级别
    aaaaaaaaa
        43
    aaaaaaaaa  
       2019-10-28 21:51:49 +08:00
    原来 zen 还能画成这样,感谢
    aaaaaaaaa
        44
    aaaaaaaaa  
       2019-10-28 21:53:52 +08:00
    请问下 logstash 的相关配置是不是没上传到 GitHub ?
    OysterQAQ
        45
    OysterQAQ  
    OP
       2019-10-28 23:08:56 +08:00
    @aaaaaaaaa 是的,挺简单的只是配置一下输入输出,后续有需要会上传
    duola
        46
    duola  
       2019-10-29 07:09:29 +08:00
    之前我好像记得你图存在又拍云的。
    OysterQAQ
        47
    OysterQAQ  
    OP
       2019-10-29 07:36:05 +08:00 via iPhone
    @duola 没有的,哪存的起,都是反代图片,
    clemmsen
        48
    clemmsen  
       2019-10-29 09:40:43 +08:00
    你问我资瓷不资瓷,我是资瓷的,只是这种很容易被人恶意针对
    OysterQAQ
        49
    OysterQAQ  
    OP
       2019-10-29 16:51:48 +08:00
    @clemmsen 资瓷就完事了,敏感词过滤提上日程
    chackchackGO
        50
    chackchackGO  
       2022-06-22 23:29:27 +08:00
    如今怎样了?项目地址 404 且主页功能几乎尽失
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5952 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 02:00 · PVG 10:00 · LAX 18:00 · JFK 21:00
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.