rabbit/data-pipeline
Composer 安装命令:
composer require rabbit/data-pipeline
包简介
rabbit data pipeline
README 文档
README
- 基于插件的流程处理组件
组件配置
return [ 'scheduler' => [ '{}' => Scheduler::class, '()' => [ [ '{}' => YamlParser::class, '()' => [ App::getAlias('@yaml') ] ] ], 'senders' => arrdef([ 'worker' => definition(WorkerSender::class), 'process' => definition(ProcessSender::class) ]), 'cron' => definition('cron') ] ];
任务配置
lock: task lock time,default null cron: crontab or int,default null.int is later sec, -1 is only run once
通用配置
type: Plugin Class String start: true|false output: Plugin Name errHandler: callable
type插件完整类名start是否开始插件,默认falseoutput输出到下一个插件,支持Http输出到远程插件,worker多进程任务,格式PluginName String|(http|worker):address:PluginName String,默认不等待['PluginName String|(http|worker):address:PluginName String':true|false|int]
- PS:
true启用协程等待,不设超时;int启用协程等待,值为超时时间;false不等待
errHandler错误处理函数
内置插件
Sources
Common
TransForms
Sinks
插件开发
- 继承
AbstractPlugin - 实现
run函数 - 通过
init从$this->config中获取配置参数初始化配置属性 - 插件间传值通过
Message类,开启协程传递需要clone Message,输出值赋值到克隆的Message->data属性 - PS:配置属性禁止在运行过程中修改,插件为单例模式,协程环境下会造成属性污染。可使用局部变量替代,例如
$name=$this->name,使用$name
rabbit/data-pipeline 适用场景与选型建议
rabbit/data-pipeline 是一款 基于 PHP 开发的 Composer 扩展包,目前已累计 685 次下载、GitHub Stars 达 0, 最近一次更新时间为 2019 年 10 月 23 日, 在 PHP 生态内属于活跃度较高的组件。
我们在过去多个企业项目中使用过 rabbit/data-pipeline 或与其功能相近的方案,如果你在选型或落地过程中遇到问题,例如 版本兼容、二次改造、私有化封装、与内部系统对接、生产 BUG 排查,欢迎联系我们协助评估。
基于 rabbit/data-pipeline 在你已有业务上做功能扩展、字段裁剪、UI 适配、与内部账号 / 权限 / 日志系统的深度对接。
线上偶发问题、内存泄漏、慢查询、并发异常等排查修复;针对高流量场景做缓存、队列、索引层面的调优。
承接完整的项目从需求 → 设计 → 开发 → 上线 → 长期运维;也可按月提供技术保姆服务。
统计信息
- 总下载量: 685
- 月度下载量: 0
- 日度下载量: 0
- 收藏数: 0
- 点击次数: 11
- 依赖项目数: 2
- 推荐数: 0
其他信息
- 授权协议: MIT
- 更新时间: 2019-10-23