打包下载一个网站的所有网页和资料，用哪款软件比较好？

[iray1991]

准备雅思口语重考中，理工类高分子材料专业，一战Overall 7，L 8.5,R 8,W 6, S 5,口语悲剧了；

申请CSC够用了，但是申请英联邦的理工类大学至少均分达到6。

目前准备十二月份再考一次，不知那时候来不来得及申请？还是提早到十月份好一点？

以上是背景

想要拉取的资料是这个网站的：
http://ielts-yasi.englishlab.net/

现在找到的资料版本是2009年从这个网站上拉取的：
http://club.topsage.com/thread-2380637-1-1.html

因为做了不少改动，加上雅思口语的时效性比较强，我这边又不能经常上网，所以希望能模仿上面的抓包把最新版的整个网页抓取下来。

想要问一下有什么工具软件能实现这个网站资料的拉取?需要怎么样的设置？到哪里可以找到具体的教程？

如果有人能帮忙拉取后发送到我的邮箱，那就更加爱感激不尽！我会想办法转20银币（数量再讨论）给你（不知目前的金币系统是否可以直接转账？还是只能通过点击“感谢”来实现金币转移？）

不知V2EX是否支持悬赏功能的@livid？我觉得对于一些对门内人不是很复杂对门外人显得有些复杂的Task都可以尝试用这个功能解决：）

[Alcar]

一般用wget吧

[013231]

wget
樓主請搜索"wget 全站鏡像".

[013231]

打包好的文件下載:
http://654321.org/ielts-yasi.zip

[saturn]

我都为你这个成绩感到可惜啊，瘸腿的厉害。12月估计来不及，等你成绩单出了，黄花菜都凉了。话说你现在申请学校没？拿到COE了吗？申请学校是不需要雅思成绩的啊，建议COE先行，可以早半年。想入学的时候，补交成绩然后催签就可以了。

建议早考，而且口语这东西短期内很难提高，那么就只能靠运气和发挥了；闲得蛋疼可以一次性报两个，先后去考，更保险。

考雅思，战术很重要。

[iray1991]

@Alcar
@013231
好多命令行，看不懂，自己在用IDM自带的站点抓取，抓的不是很全；
@saturn
实在不行，就去荷兰德国法国，那边没有语言要求，目前看好荷兰的Delft，华人聚集地，而且荷兰的高等教育也是全球出名，不过还是准备考一次，就是不大希望八月份去考，估计两个月口语进展不大；
老实讲，其实是博士生导师让我考的，看他的说法是到时候直接凭借私人关系推荐过去，这样的话学校可能就是有他给我推荐；尽管如此雅思成绩肯定是必须的，就是不知能不能在年底拿到conditional offer，这样不行的话就要等一年，我比较倾向于现在出去，但是一下子报两次，好拼人品呐,一次1500，肉疼。

那么十月份考是否来得及？还是说看具体的学校？

坦白讲八月份去还真没信心


@013231 已下载，非常感谢！怎么样把其余的银币转给你呢？

[013231]

@iray1991 現在沒有轉賬功能, 以後再說吧.

[gucheen]

我喜欢用Teleport

[saturn]

@iray1991 你问下具体学校的Admission office那些MM就好了，根据入学时间来安排雅思成绩和COE申请事宜。对于时间的预留，我见过大量的案例，主要不是因为学校的offer问题，而是签证的处理时长问题。

比如，南半球一般在2月底、7月底分别入学，你12月考试，能否赶上也很难说，因为中间有个圣诞节，学校和签证处一般都会放长假（国内的签证处、使领馆很多还会跟着中国人一起放春节假），所以这个时间节点最好不要用来申请签证。

一句话，雅思考试安排得要a.s.a.p ———两年有效期嘛，怕啥。

[iray1991]

@013231 我主题里提到的2009年的资料包里是按照对应主题建立了子文件夹的，不知道对方是手动操作还是使用的拉取方式不同。
不过这只是一个小瑕疵，毕竟内容是王道，下载下来就可以自己根据需要慢慢整理了。

@saturn 那么十月份或者九月底会否好一点？此外就是大三的这个暑假就要开始，是不是抓紧这个暑假时间在学校里开好相关的学分证明？

最近刚考完试开始泡留学论坛，一无所知啊，有比较推荐的网页让我自己去查找相关留学准备信息不？谢谢！

[013231]

使用wget進行全站抓取的命令:
wget -mkp -e robots=off -U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6" "http://www.example.com/"
含義:
-m, --mirror, 表示命令用於鏡像, 設置一些遞歸參數什麼的.
-k, --convert-links, 轉換網頁中的鏈接. 如果沒用這個參數, 鏈接還是指向源網站的.
-p, --page-requisites, 把正確顯示網頁所需的圖片, 樣式表什麼的一併保存下來.
-e robots=off, 忽略robots.txt, 有些網站使用robots.txt禁止抓取.
-U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6" , --user-agent, 把自己爲裝成瀏覽器. 有些網站只允許瀏覽器訪問.

[saturn]

@iray1991 对的，4年制的本科学位只需要3年的成绩就可以申请了（毕业了之后需要补交全4年的），你现在就可以去教务处开大学前3年的成绩单、翻译、公证就可以去申请学校了。

一无所知的话，最好去问下留学中介。这里我有比较好的描述（#61）：

http://www.v2ex.com/t/40430#reply61

[capthy]

http://www.httrack.com/

[iray1991]

@013231
大神，那个网站最近有更新，能否麻烦您再下载一个包给我？
我自己试过用IDM的整站抓取下载，装到goodreader里面发现有问题：点击某个网页中的的链接的时候不会跳到这个包里面其他的网页；但是导入您那个包却能实现网页链接间的跳转；
我自己尝试过用CMD的方式运行wget自行抓取，但是cmd真不会操作，不会进入也不知道在哪里调入命令，如果您这次能在下载一次的话，可否录个像给我？我自己琢磨看看，老麻烦您真不好意思呀

[iray1991]

@013231 自行操作结果如下，不知下一步该怎么进行：

[013231]

我已更新http://654321.org/ielts-yasi.zip, 你可以重新下載.
http://654321.org/ielts-yasi.zip 這個文件每天0點會自動更新. 如果你需要更高的更新頻率, 請告訴我.

[iray1991]

@013231
有一个小想法；
可否直接抓取那些有更新的页面，直接打包?这样就不用每次有更新后都下载150M+的压缩包，而且转移到iPad也会方便很多
更新页面在这里：http://ielts-yasi.englishlab.net/Site_Changes_P6.htm
不过有点担心如果只是更新那些有变动的部分，就无法实现链接间的跳转，毕竟链接间的跳转才能保证离线使用起来和直接登录网站的体验是一样的；所以这点实现起来困难的话只是一点小缺陷，不强求；
再次感谢你！V2EX真的有不少技术好人呐！

[013231]

@iray1991 你可以从这里:
http://654321.org/ielts-yasi/Site_Changes_P6.htm
单独下载更新的页面. http://654321.org/ielts-yasi/ 是原网站的镜像.
顺便说一下, 由于程序Bug, 前几日的压缩包未能正确更新.

[iray1991]

@013231
请问一下，这个页面如何单独下载呢：http://654321.org/ielts-yasi/Site_Changes_P6.htm

http://654321.org/ielts-yasi.zip 依然可以下载，非常感谢

[013231]

@iray1991 直接把鏈接"另存爲"就可以了. 裏面的鏈接都是轉換過的.

[iray1991]

@013231
大神，这个网页可否抓取？

http://www.ielts-simon.com/

我在谷歌上搜索很久，都没找到自己能看懂的命令行操作wget方式，无奈之下还是来找您了：）

[013231]

@iray1991
从这里下载: http://654321.org/ielts-simon.zip

[iray1991]

@013231
新增一个需要下载的网站：

http://grammar.ccc.commnet.edu/grammar/textonly.htm

Much Thanks！

[013231]

@iray1991 http://654321.org/grammar.ccc.commnet.edu.zip

[iray1991]

@013231

需要下载的网站：

http://www.esl-lab.com/

Much Thanks！

[013231]

@iray1991 http://654321.org/esl-lab.com.zip

[shpasspass]

@013231 能帮忙下载一下这个站吗？http://www.shgrandindustries.com/ 谢谢

[013231]

@shpasspass http://654321.org/shgrandindustries.zip

[shpasspass]

@013231 多谢啦~~~

[ty10086]

@013231 您好大兄弟，是否可以帮忙下载一个网页？