火车采集器

Train Collector (LocoySpider)是一款专业且功能强大的网络数据/信息挖掘软件。通过灵活的配置，您可以轻松地从网页中抓取任何资源，如文字、图片和文件。

该程序支持图片文件远程下载、网站登录后信息获取、检测文件真实地址、代理、防盗链采集、采集数据直接存储和模仿者手动发布。

火车收集器支持从任何类型的网站收集和获取您需要的信息，例如各种新闻网站、论坛、电子商务网站、招聘网站等等。

同时具有网站登录收藏、多页及分页收藏、网站跨层收藏、帖子收藏、脚本页面收藏、动态页面收藏等强大的高级收藏功能。

强大的php和c#插件支持，让你通过二次开发实现任何你想要的更强大的功能。

软件功能

1、通用性强

无论新闻、论坛、。。、黄页、图片、下载网站，只要你能通过浏览器看到结构化的内容，就可以通过指定匹配规则来收集你需要的内容。

2.稳定高效

经过五年的打磨，软件不断更新完善，采集速度快，性能稳定，占用资源少。

3、扩展性强，适用范围广

自定义web发布，自定义主流数据库的存储和发布，自定义本地php和。net外部编程接口来处理数据，并使数据可供您使用。

菜单功能

1.创建新的分组

创建新的任务组，选择您所属的组，并确定组名和注释。

创建新任务

确定分组，创建新任务，填写任务名称，保存。

3.Web发布配置

Web发布配置定义了如何登录到网站并向网站提交数据。

主要涉及登录信息的获取、网站代码的设置、栏目列表的获取、使用数据测试发布效果。

4.网络发布模块

可以定义网站登录、获取栏目列表、获取网页随机值、内容发布参数、上传文件、构造发布数据等高级功能。

5.数据库发布配置

数据库发布配置定义了数据库链接信息的设置和数据库模块的选择。

6.数据库发布模块

编辑数据库的发布模块方便我们将数据发布到配置好的数据库中。

火车收集器可以选择四种数据库类型：mysql、sqlserver、oracle和access，在文本输入框中填写sql语句。

(需要有数据库的知识)，可以用标签来代替相应的数据。也可以在收集器模块文件夹中加载模块进行编辑。

计划任务

在列表中设置收集任务的启动计划，可以每隔一段时间，每天，每周，只定义一次Cron表达式，

(关于Cron表达式的编写，请参考相关术语中的介绍)。保存设置后，可以根据设置执行任务。

8.插件管理

插件是可以用来扩展列车采集器功能的程序。

火车收集器V9支持三种类型的插件：PHP源代码、C#源代码和C#类库。

可以用来扩展http请求、内容处理、文件下载的功能，可以单独测试。

9.http二级代理

网络中的服务器允许网络用户获得所需的网络信息。

代理的功能包括突破自身ip的访问限制，访问国外站点，访问一些单位或团体的内部资源。

突破电信的ip封锁，隐藏真实ip。

列车采集器V9支持http代理、socket4和socket5代理。

10.http模拟请求

您可以设置如何发起http请求，包括设置请求信息和返回头信息。并具有自动提交的功能。

基本功能

1.规则定制-通过定义收集规则，您可以搜索所有网站来收集几乎任何种类的信息。

2.多任务多线程——可以同时执行多个信息获取任务，每个任务可以使用多个线程。

3.所见即所得——所见即所得在任务采集过程中，过程中遍历的链接信息、采集信息、错误信息都会及时反映在软件界面中。

4.数据存储——数据在收集的同时自动存储在关系数据库中，数据结构可以自动调整。该软件可以根据采集规则自动创建数据库以及其中的表和字段，还可以通过数据库向导的方式灵活地将数据保存在客户已有的数据库结构中。

5.在断点处恢复挖掘——信息采集任务停止后可以从断点处继续采集，不必担心采集任务的意外中断。

6.网站登录——支持网站Cookie，支持网站可视化登录，甚至可以收藏登录时需要验证码的网站。

7.计划任务-此功能允许您定期、定量或连续执行收集任务。

8.收藏范围的限制——可以根据收藏的深度和网站的logo来限制收藏范围。

9.文件下载——可以下载收集到的二进制文件(如图片、音乐、软件、文档等。)到本地磁盘或收集结果数据库。

10.结果替换-您可以根据规则用您定义的内容替换收集的结果。

11.有条件保存——你可以根据某种条件决定保存哪些信息，过滤哪些信息。

12.过滤重复内容——软件可以根据用户设置和实际情况自动删除重复内容和重复网站。

13.特殊链接的识别——使用这个函数，可以识别JavaScript中动态生成的链接或其他更奇怪的连接。

14.数据发布-收集的结果数据可以通过用户定义的界面发布到任何内容管理系统和指定的数据库。现在支持的目标发布媒体包括：数据库(access、sql server、my sql、oracle)和静态htm文件。

15.预留编程接口——定义多个编程接口，用户可以使用PHP和C #语言在。。中编程，扩展采集功能。

特征函数

1.支持所有网站代码：完美支持收集所有编码格式的网页，程序可以自动识别网页代码。

2、多种发布方式：支持CMS、BBS等所有主流和非主流网站程序，通过系统的发布模块可以实现收藏者与网站程序的完美结合。

3.全自动：无人值守工作。程序配置完成后，程序会根据您的设置自动运行，无需手动干预。

4.本地编辑：对收集的数据进行本地可视化编辑。

5.采集和测试：这是任何其他类似的采集软件无法比拟的。该程序支持直接查看采集结果以及测试和发布。

6.管理方便：采集节点由站点任务管理，任务支持批量操作，便于管理更多数据。

更新日志

1.增加：用户代理支持从文本中读取和随机切换。教程：http://faq.locoy.com/q-1348.html.

2.补充：手机号码自动识别功能支持14、15、16、17、19开头的新号段。

3.优化：下载文件后，优化插件界面。

4.优化：检测文件下载时正式下载文件，提高下载速度。

5.修复：修复http请求头“头或设置名”以数字开头的问题。

6.修复：如果发布到word文档，如果数据包含特殊字符或者局部图片异常，会导致发布失败。解决问题。

7.修复：复制任务时，修复任务笔记不复制的问题。

8.修正：标签引用支持调用“列表页面”标签。

9.修复：提取json时，如果json对象的“key”是整数，则提取错误。

10.优化：URL解析取代html问题。

11.修复：get，post分页问题处理。

12.修复：在生成固定格式数据时，选择“系统时间”为“06-16”，生成时间格式“yyyy-MM”

13.添加：数据库发布模块支持replace into语句。