64 位的机器会有这个问题吗？

不用是程序员，但希望了解程序员，有独立思考，如果能配合程序出项目就更好了

超长字符串索引并不会引发性能问题，结贴

@htfy96 是这样的，但是感觉结构体是会被复制的， byte* str 的值被复制，两个 byte* str 指向同一个 byte 序列
package main

import (
"fmt"
)

func main(){
s := "asdf"
f(s)
fmt.Printf("%p\n", &s)
}

func f(s string){
fmt.Printf("%p\n", &s)
}


输出的指针不一样

信息安全本身就是设计者的能力的一环，应该看作内功，而不是推给所谓安全部门来做这样的工作

只要整个社会信息化进程不停止，程序员就不会失业。
如果程序员失业了，那整个社会就不存在可以被信息化的地方了，全都自动化了，谁还在工作呢？
我觉得程序员是最后失业的工种

@omg21 转变下思路，如果确实有需要，不如联系下网站，看看能不能有偿提供你需要的东西

在要求登录的情况下，无论怎样，对方都可以统计单个 cookie 在单位时间内的访问量从而做出限制。所以，要么降低访问频率，要么获取足够多的 cookie

基础决定你能在技术道路上走多远，程序员的工作不只是，也不止是写写应用逻辑。怀疑科班出身的人的水平，首先自己先去体会体会科班出身的人到底学了些什么。那些科班出身基础差的人只是少数，大部分人四年都不是白过的

个人建议，经验来源于刚做完的毕设：
先说结果， 18min 能爬 3w 页面。
我是用 Java 写的， Apache HTTPClient 包做访问，封装爬取任务，投递到线程安全队列，单开一个线程作为消费者，不断将任务投递到线程池， 500 并发(已经吃满带宽，平稳状态消耗 1G 内存)，外网 500KB/s ，爬取到的 URL 存储在内网某 Redis 里做去重，实际的页面存储根据你的需求来定，建议汇总到内网某一服务器，比较方便。