2023-10-10 87511

首页 » 文档 » 高级技巧

火车采集器采集入库教程

一、安装火车采集器

下载地址:http://www.locoy.com/download

下载后解压至电脑任意目录,例如D:\LocoySpider,双击D:\LocoySpider\LocoySpider.exe打开主程序,如下图:

注意:运行火车采集器要求电脑安装.NET2.0框架支持。如果主程序无法运行,很可能是因为您的电脑没有安装.NET2.0框架。.NET2.0框架可以通过以下地址下载:

http://download.microsoft.com/download/5/6/7/567758a3-759e-473e-bf8f-52154438565a/dotnetfx.exe

二、采集前的准备工作

2.1说明

由于本教程的重点是讲解采集入库,所以采集过程仅简单介绍。如果要详细了解采集过程,请参考以下资源:

火车用户手册:http://www.locoy.com/help

火车用户论坛:http://bbs.locoy.com/

火车采集服务:http://www.locoy.com/Service/DataCrawl/

2.1下载入库规则文件

火车采集器的入库规则是可以自己制作的,为了便于理解和测试,本站已经做好资讯入库规则,请通过以下地址下载:

http://download.destoon.com/tool/spider.zip

下载解压后,将其中的DESTOON 3.0资讯.cwr 复制到火车采集器安装目录/Module目录

2.3配置DESTOON采集入库接口

DESTOON采集入库接口位于您的站点目录/api/spider.php。用Editplus或其他编辑软件打开此文件。

注意:如果您的站点是UTF-8编码,请不要使用记事本编辑PHP文件。

需要配置的参数,系统已经做了中文的注释,请注意查看。

下面讲一下常用的配置:

$verify_mode 一般设置为2,采用密钥验证

$spider_auth 设置一个最少6位的密钥,为了配合已经配置好的Destoon 3.0资讯.cwr规则,暂时请设置为12345678,后面会详细说明。

$spider_status 建议设置为2,这样采集到的信息默认会发布为待审核状态。

接口为了安全,默认需要修改一下spider.php文件名。为了方便测试,可以暂时删除此限制。注释掉以下代码即可:

if(strpos($_SERVER['PHP_SELF'], '/spider.php') !== false) exit('为了系统安全,请修改接口文件名');

设置好的配置如下:

三、建立采集站点

本教程将以采集Destoon帮助文档为例说明。

打开火车采集器主面板,点击站点菜单,选择新建站点:

四、新建采集任务

在建立的站点上点右键,从该站点新建任务:

五、设置采集网址规则

设置完成之后,点击开始测试网址采集:

看到目标网址,说明网址规则设置成功

六、设置采集内容规则

打开任意一个目标网址,寻找标题、内容等字段匹配规则:

例一:设置标题规则

例二:设置内容规则

设置好字段后,再次测试:

此时已经采集到正确的内容了。

七、设置采集内容发布

7.1选择Web在线发布方式发布

7.2 定义Web在线发布全局设置

点击添加,可以看到本站提供的Destoon 3.0资讯采集规则

选择一个分类并保存

7.3 选择已保存的配置

返回到发布内容设置界面,在表格上点右键,选择添加更多发布配置

选择 DT文档 点击添加,然后选择分类

7.4保存任务

填写任务名称,点击保存按钮

八、采集内容

在刚才建立的DT文档任务上点右键,选择开始任务采集

软件提示内容发布成功。

进入网站后台,资讯管理,审核资讯

可以看到采集到的资讯列表,说明发布成功。

九、采集发布规则

 

为了便于测试和理解,本教程默认提供了一个规则,下面讲解如果修改或者建立规则。

在建立的任务DT文档上点右键,编辑任务,进入发布内容设置,点击定义web在线发布全局设置

如果需要新建一个发布规则,可以采用火车采集器自带的发布模块编辑器新建,也可以将火车采集器安装目录/Mdule目录里的Destoon 3.0资讯.cwr复制一个新文件,例如Destoon 3.0供应.cwr,然后用火车采集器模块编辑器编辑。

9.1文章发表参数

如果需要添加一个字段,例如作者,可以在Post数据里追加&author=[标签:作者],其中author对应Destoon资讯表的字段,[标签:作者]对应采集软件采集的字段。

如果需要知道Destoon系统某个模块具体有那些字段,例如资讯,可以在网站后台添加资讯或者会员中心发布资讯点右键,查看网页源代码,形如name=”post[xxxx]”中的xxxx即为字段,和数据库中表的字段名称一致。

备注:本教程提供的规则定义了发布地址为/api/spider.php,所以在配置spider.php参数时,删除了系统对文件名的设置。同时定义了发送的密钥auth为12345678,所以在配置spider.php参数时设置了$spider_auth = '12345678';

9.2刷新列表设置

刷新列表设置用于获取Destoon模块的分类内容,各个模块的设置是一致的,但是需要修改其中的moduleid参数。

十、小结

对于有PHP基础的用户,可以直接修改spider.php接口代码,然后配合采集器发送的数据,实现更多内容的入库。

网站起步阶段,适量采集,并非有500G的空间就可以采集500G的数据,以免CPU和内存配置不匹配导致站点运行卡顿。

采集是一把双刃剑,在带来便利的同时也面临被搜索引擎惩罚或版权纠纷的风险,请慎用。

火车采集器 火车头 采集 入库
以上内容是否对您有帮助?点击反馈加群交流

 
公司简介   |   联系方式   |   合作代理   |   隐私政策   |   使用协议   |   意见反馈