cxrxexo/tiktoken
Composer 安装命令：
composer require cxrxexo/tiktoken
包简介
PHP version of tiktoken. PHP 7.4+ required.
README 文档
README
This is a port of the tiktoken-php.
Installation
$ composer require cxrxexo/tiktoken
Usage
use CxRxExO\Tiktoken\EncoderProvider; $provider = new EncoderProvider(); $encoder = $provider->getForModel('gpt-3.5-turbo-0301'); $tokens = $encoder->encode('Hello world!'); print_r($tokens); // OUT: [9906, 1917, 0] $encoder = $provider->get('p50k_base'); $tokens = $encoder->encode('Hello world!'); print_r($tokens); // OUT: [15496, 995, 0]
Limitations
- Encoding for GPT-2 is not supported.
- Special tokens (like
<|endofprompt|>) are not supported.
License
cxrxexo/tiktoken 适用场景与选型建议
cxrxexo/tiktoken 是一款 基于 PHP 开发的 Composer 扩展包，目前已累计 2.13k 次下载、GitHub Stars 达 2， 最近一次更新时间为 2023 年 06 月 24 日， 在 PHP 生态内属于活跃度较高的组件。
它主要适用于以下技术方向： 「tokenizer」 「encode」 「decode」 「bpe」 「openai」 「tiktoken」 等业务场景。在实际项目中，围绕这些方向常见需要落地的问题包括：接口对接、性能调优、并发安全、与既有框架（Laravel / ThinkPHP / Yii / Webman 等）的兼容适配，以及生产环境的日志埋点与稳定性保障。
我们在过去多个企业项目中使用过 cxrxexo/tiktoken 或与其功能相近的方案，如果你在选型或落地过程中遇到问题，例如 版本兼容、二次改造、私有化封装、与内部系统对接、生产 BUG 排查，欢迎联系我们协助评估。
基于 cxrxexo/tiktoken 在你已有业务上做功能扩展、字段裁剪、UI 适配、与内部账号 / 权限 / 日志系统的深度对接。
线上偶发问题、内存泄漏、慢查询、并发异常等排查修复；针对高流量场景做缓存、队列、索引层面的调优。
承接完整的项目从需求 → 设计 → 开发 → 上线 → 长期运维；也可按月提供技术保姆服务。
与 cxrxexo/tiktoken 相关的其它包
同方向 / 同关键字的高下载量 PHP Composer 包推荐，方便对比选型：
Library emulating the PHP internal reflection using just the tokenized source code.
AMWSCAN (Antimalware Scanner) is a php antimalware/antivirus scanner console script written in php for scan your project. This can work on php projects and a lot of others platform.
Encode integer IDs using a preset or customized symbol set
A program for performing lexical analysis, written in PHP
A simple library for make Lexer and Parsers to build a language
Runn Me! Serialization Library
统计信息
- 总下载量： 2.13k
- 月度下载量： 0
- 日度下载量： 0
- 收藏数： 2
- 点击次数： 25
- 依赖项目数： 0
- 推荐数： 0
其他信息
- 授权协议： MIT
- 更新时间： 2023-06-24