真的不会写摘要

0 前言

之前写过用 Web Scraper 爬取即刻关注/被关注列表,爬取下来的数没按照顺序排序。有解决的办法,去安装 CouchDB,然后设置一下从此 Web Scraper 爬取下来的数据都是有序的。

1 下载和安装

http://couchdb.apache.org/#download

进入后下载合适你电脑系统的 CouchDB。

这里演示一下 Windows 下安装,打开后直接点击 Next 接受条款,然后点击 Next 还是点击 Next 改一下路径,不要直接安装到 C 盘,然后点击 Next 安装,冷静等待几分钟,很快安装完的。

2 设置

浏览器打开 http://127.0.0.1:5984/_utils/,别打开错了。

然后创建一个数据库,命名为 scraper-sitemaps 右键 Web Scraper,然后点击选项,进入设置界面

Storage type 改成 CouchDB

Sitemap db 填写 http://localhost:5984/scraper-sitemaps

Data db 填 http://localhost:5984/ 保存之后重启浏览器,然后 Web Scraper 爬取下来的数据就是有序的。

进入 http://127.0.0.1:5984/_utils/ 能看到创建的数据库,点击进去能看到 Sitemap。 而且是非常易于阅读的形式 如果重启浏览器不行就重启电脑,如果还不行,建议重买电脑。

3 说明

如果之前 Web Scraper 有 Sitemap,那先保存一份再去安装 CouchDB;如果已经安装且设置了,也可以去设置那里把 Storage type 改回 local storage (本地存储),然后保存备份 Sitemap 后再改回去。