textualization/ropherta-tokenizer
Composer 安装命令：
composer require textualization/ropherta-tokenizer
包简介
GPT3Tokenizer (BPE) with Roberta-base vocabulary.
README 文档
README
This is just a wrapper around GPT3Tokenizer using the HuggingFace RoBERTa vocab and merge files.
See GPT3 documentation for example use (or the generated test case under tests/).
XLM Tokenizer
To use the multilingual version, the SentencePiece dependency needs to be initialized and an aditional model file needs to be downloaded:
composer exec -- php -r "require 'vendor/autoload.php'; Textualization\SentencePiece\Vendor::check();"
composer exec -- php -r "require 'vendor/autoload.php'; Textualization\Ropherta\Tokenizer\Vendor::check();"
Sponsors
We thank our sponsor:
textualization/ropherta-tokenizer 适用场景与选型建议
textualization/ropherta-tokenizer 是一款 基于 PHP 开发的 Composer 扩展包，目前已累计 552 次下载、GitHub Stars 达 1， 最近一次更新时间为 2023 年 08 月 08 日， 在 PHP 生态内属于活跃度较高的组件。
我们在过去多个企业项目中使用过 textualization/ropherta-tokenizer 或与其功能相近的方案，如果你在选型或落地过程中遇到问题，例如 版本兼容、二次改造、私有化封装、与内部系统对接、生产 BUG 排查，欢迎联系我们协助评估。
基于 textualization/ropherta-tokenizer 在你已有业务上做功能扩展、字段裁剪、UI 适配、与内部账号 / 权限 / 日志系统的深度对接。
线上偶发问题、内存泄漏、慢查询、并发异常等排查修复；针对高流量场景做缓存、队列、索引层面的调优。
承接完整的项目从需求 → 设计 → 开发 → 上线 → 长期运维；也可按月提供技术保姆服务。
统计信息
- 总下载量： 552
- 月度下载量： 0
- 日度下载量： 0
- 收藏数： 1
- 点击次数： 7
- 依赖项目数： 1
- 推荐数： 0
其他信息
- 授权协议： Apache-2.0
- 更新时间： 2023-08-08