mehrab-wj/tiktoken-php

Composer 安装命令：


                            composer require mehrab-wj/tiktoken-php

包简介

a clone of python tiktoken but for PHP! fast BPE tokeniser for use with OpenAI's models.

README 文档

README

PHP Text Tokenizer for GPT models

About

A PHP toolkit to tokenize text like GPT family of models process it.

Forked from semji/gpt3-tokenizer-php to bug fixes and improvement.

Requirements

PHP 8.1
mbstring extension details here on how to install mbstring

Usage

First install the package using composer:

composer require mehrab-wj/tiktoken-php

use TikToken\Encoder;
$prompt = "Ai is cool";
$encoder = new Encoder();

$tokens = $encoder->encode($prompt); // [32, 72, 318, 3608]

// Get tokens count:
echo count($tokens); // 4

mehrab-wj/tiktoken-php 适用场景与选型建议

mehrab-wj/tiktoken-php 是一款基于 PHP 开发的 Composer 扩展包，目前已累计 117.84k 次下载、GitHub Stars 达 17，最近一次更新时间为 2023 年 04 月 19 日，在 PHP 生态内属于活跃度较高的组件。

我们在过去多个企业项目中使用过 mehrab-wj/tiktoken-php 或与其功能相近的方案，如果你在选型或落地过程中遇到问题，例如 版本兼容、二次改造、私有化封装、与内部系统对接、生产 BUG 排查，欢迎联系我们协助评估。

围绕 mehrab-wj/tiktoken-php 我们能提供哪些服务？

定制开发 / 二次开发

基于 mehrab-wj/tiktoken-php 在你已有业务上做功能扩展、字段裁剪、UI 适配、与内部账号 / 权限 / 日志系统的深度对接。

BUG 修复 & 性能优化

线上偶发问题、内存泄漏、慢查询、并发异常等排查修复；针对高流量场景做缓存、队列、索引层面的调优。

项目外包 & 长期维护

承接完整的项目从需求 → 设计 → 开发 → 上线 → 长期运维；也可按月提供技术保姆服务。

yvsm@zunyunkeji.com QQ：316430983 微信：yvsm316 西安尊云信息科技 · 专注 PHP / Go / 分布式系统研发