crwlr/crawler
Composer 安装命令：
composer require crwlr/crawler
包简介
Web crawling and scraping library.
README 文档
README
Library for Rapid (Web) Crawler and Scraper Development
This library provides kind of a framework and a lot of ready to use, so-called steps, that you can use as building blocks, to build your own crawlers and scrapers with.
To give you an overview, here's a list of things that it helps you with:
- Crawler Politeness 😇 (respecting robots.txt, throttling,...)
- Load URLs using
- a (PSR-18) HTTP client (default is of course Guzzle)
- or a headless browser (chrome) to get source after Javascript execution
- Get absolute links from HTML documents 🔗
- Get sitemaps from robots.txt and get all URLs from those sitemaps
- Crawl (load) all pages of a website 🕷
- Use cookies (or don't) 🍪
- Use any HTTP methods (GET, POST,...) and send any headers or body
- Easily iterate over paginated list pages 🔁
- Extract data from:
- Extract schema.org structured data in JSON-LD format from HTML documents
- Keep memory usage low by using PHP Generators 💪
- Cache HTTP responses during development, so you don't have to load pages again and again after every code change
- Get logs about what your crawler is doing (accepts any PSR-3 LoggerInterface)
- And a lot more...
Documentation
You can find the documentation at crwlr.software.
Contributing
If you consider contributing something to this package, read the contribution guide (CONTRIBUTING.md).
crwlr/crawler 适用场景与选型建议
crwlr/crawler 是一款 基于 PHP 开发的 Composer 扩展包，目前已累计 17.49k 次下载、GitHub Stars 达 368， 最近一次更新时间为 2022 年 04 月 18 日， 在 PHP 生态内属于活跃度较高的组件。
它主要适用于以下技术方向： 「web」 「scraper」 「crawler」 「bot」 「crawling」 「scraping」 等业务场景。在实际项目中，围绕这些方向常见需要落地的问题包括：接口对接、性能调优、并发安全、与既有框架（Laravel / ThinkPHP / Yii / Webman 等）的兼容适配，以及生产环境的日志埋点与稳定性保障。
我们在过去多个企业项目中使用过 crwlr/crawler 或与其功能相近的方案，如果你在选型或落地过程中遇到问题，例如 版本兼容、二次改造、私有化封装、与内部系统对接、生产 BUG 排查，欢迎联系我们协助评估。
基于 crwlr/crawler 在你已有业务上做功能扩展、字段裁剪、UI 适配、与内部账号 / 权限 / 日志系统的深度对接。
线上偶发问题、内存泄漏、慢查询、并发异常等排查修复；针对高流量场景做缓存、队列、索引层面的调优。
承接完整的项目从需求 → 设计 → 开发 → 上线 → 长期运维；也可按月提供技术保姆服务。
与 crwlr/crawler 相关的其它包
同方向 / 同关键字的高下载量 PHP Composer 包推荐，方便对比选型：
A lightweight, dependency free PHP class that acts as wrapper for Crawlbase API
Model of a web-based resource
A tool for scraping URL resources (oEmbed, OpenGraph, Twitter cards, JSON-LD)
Sitemap crawler/generator. For the given URL it will return sitemap XML file with URLs and images.
Retrieve a WebResourceInterface instance over HTTP
统计信息
- 总下载量： 17.49k
- 月度下载量： 0
- 日度下载量： 0
- 收藏数： 371
- 点击次数： 35
- 依赖项目数： 2
- 推荐数： 0
其他信息
- 授权协议： MIT
- 更新时间： 2022-04-18