介绍

一个可视化的爬虫平台。以流程图的方式配置爬虫，基本上无需编写代码即可完成工作。 提供了常用的功能，当然使用者也可自定义扩展。Kspider 前端更方便、更快捷、更好用。 当然，Kspider 不仅限爬虫，也可用于 WEB 自动化测试，更多功能等你探索。

特性

 

  • 支持 xpath 和 css 选择器
  • 支持选择器提取、正则提取、json 提取等
  • 支持 Cookie 自动管理
  • 支持抓取由 js 动态渲染的页面
  • 支持代理
  • 支持多数据源
  • 内置常用的字符串、日期、文件、加解密等函数
  • 支持结果保存至多目的地（数据库、csv 文件等）
  • 支持插件扩展（自定义执行器，自定义函数等）
  • 支持任务日志
  • 支持爬虫可视化调试
  • 支持同步、异步执行
  • 支持插件扩展
  • 支持自定义 JS 脚本引擎
  • 支持产物下载

新增的特性：

  • 采用 Spring Data JPA 实现数据库操作，支持多种数据库，如 MySQL、PostgreSQL、SQLite、Oracle、MSSQL 等
  • 支持同步执行，对于执行结果有顺序要求的可以使用该功能
  • 增加随机 User-Agent（数据来自：useragentstring.com ）
  • 增加身份认证机制
  • 增加延迟执行节点
  • 通过远程 WebDriver 来操纵浏览器（本地不用再加载驱动，更省心，依赖Selenium）
  • 支持自定义执行器
  • 支持容器化部署

TODO

 

  • 支持分布式部署
  • 增加代理的管理界面，方便进行代理的手工添加（不推荐）和启动代理的自动管理功能
  • 支持 SQL 节点更多数据源及数据源配置
  • 重构表达式解析器
  • 增加自定义函数 JavaScript 脚本节点（满足更复杂的数据处理能力）
  • 增加用户管理系统
  • 增加 OCR 图文识别节点
  • 增加爬虫任务实时日志

免责声明

 

请勿使用本项目进行任何可能会违反法律规定和道德约束的工作。如您选择使用本项目，即代表您遵守此声明，作者不承担由于您违反此声明所带来的任何法律风险和损失。

仓库地址

GitHub：https://github.com/kkangert/kspider

网站免责声明
一、资源来源与版权

本网站所有资源及文章均源自互联网，经过我们的收集整理后呈现给用户。我们明确声明，本网站不直接参与任何资源的创作或制作过程，仅作为信息的传递者。若您发现本网站上的任何内容侵犯了您的合法权益（包括但不限于版权、商标权、专利权等），请立即通过以下联系方式与我们取得联系。在收到您的反馈并核实情况后，我们将迅速采取相应措施，包括但不限于删除侵权内容，以确保您的合法权益得到及时保护。

二、资源使用与责任

资源鉴别：本网站发布的资源可能包含水印、广告链接或其他引流信息，这是由资源原始来源决定的。我们提醒用户在使用这些资源时，应保持警惕，自行鉴别信息的真实性和适用性，避免受到不必要的干扰或误导。 非商业用途：本网站提供的资源仅供学习、研究及非商业性交流使用。我们鼓励用户尊重原创，支持正版。若您计划将本站资源用于商业目的，请务必先获得合法授权，否则因此产生的一切法律后果将由下载用户自行承担。

三、联系方式

为了更好地服务用户，解决您在使用本网站过程中可能遇到的问题或反馈侵权信息，我们提供了以下联系方式（请将“#”替换为“@”后使用）： 联系方式：contact#kukaylib.com

四、免责条款

本网站致力于为用户提供高质量的信息服务，但对于因网络状况、第三方干扰、不可抗力等因素导致的服务中断、数据丢失、信息错误等问题，本网站不承担任何责任。同时，本网站对于用户在使用本站资源过程中可能产生的任何直接、间接、偶然、特殊或惩罚性损失，也不承担任何法律责任。 请用户在使用本网站时，务必遵守相关法律法规及道德准则，自行承担因使用本站资源而产生的所有风险和后果。

五、更新与修订

本网站有权随时更新或修订本免责声明，更新或修订后的免责声明一经发布即具有法律效力。用户应定期访问本页面以了解最新的免责声明内容。 感谢您对本网站的理解与支持！我们将继续努力，为用户提供更加优质、便捷的信息服务。