谁说道 Python 搞不定 AI 模型微服务？！Towhee 来了！

改建工程显然的大大的封配有，Towhee 在机动性总体也有亮眼的表现。在我自己的电脑上（64核CPU，3080单佩），用到 HuggingFace 的 CLIP 预培训仿真和配套辅助工具瓦构建了同样机能的RISC，并和 Towhee 的RISC来进行了机动性对比：

HuggingFace 与 Towhee 的RISC机动性对比

经过多次试验，HuggingFace RISC的平均 QPS 67，Towhee RISC的平均 QPS 328。Towhee 的RISC有差不多 5 倍的特速。不一定，通过用到 Towhee，仅用一块佩就可以少于之年前五块佩的一站式控制能力，两个字，省钱！

最后，暂时分享一些 Towhee 中所的重要组件和实用辅助工具：Towhee Operator Hub、DataCollection 程序员后端口、小型化侦探一站式，以及单项的 Roadmap。

Towhee Operator Hub

Towhee 的 Hub 不叫 Model Hub，而是叫 Operator Hub。主要原因在于，Towhee 是一个大后端到后端的RISC构建，不仅仅是定位数学模型仿真，还更是加注目线性子系统机能的极为丰富度、小型化侦探、标准规范的特殊任务后端口。

线性子系统的极为丰富度：Towhee 中所的线性子系统，之外数学模型仿真，也之外各种五花八门的资料处理反复步骤，如音截图编截取、上图像裁切、系统化分词、分量降维、资料瓦操控等。

Towhee 注目的线性来源主要有四类：

应用情景所须的通用线性或资料处理反复步骤；

各类顶才会以及arXiv上受到广泛注目的年中间地放仿真；

Paper with Code 不可或缺领域的 benchmark 上榜仿真；

金融业务领域类似于的线性瓦、仿真瓦内置。

目年前，Towhee 不太可能覆盖面积推算机动态、自然语言处理反复、音频、生物医药、多假定五大领域的十多项特殊任务，120多种仿真构造，700多个预培训仿真。拍照 Towhee 反对的 Operator 以下（）。

小型化侦探：Towhee Hub 上的线性子系统除了给予预培训仿真以及Fine-tuning 控制能力，才会更是加定位RISC上到后的侦探机动性。Towhee 才会为类似于线性或年中间地放仿真给予完全一致的小型化构建，根据 Python 侧RISC的概念，在侦探一站式的构建期来进行操作者化替换。这些快速反对之外：

仿真转回 ONNX、TensorRT；

年前成品的多线程、GPU 快速；

常唯的资料处理反复反复快速，如上图像、音频、截图截取快速等。

标准规范的特殊任务后端口：Towhee 才会按照特殊任务类别对等价来进行子系统化许多组织。特殊任务类别确定了标准规范的codice_后端口，并通过等价给予这些后端口的有所不同构建。

在 Towhee Hub 中所 Operator 的许多组织方基本型相近 PapersWithCode，相同特殊任务的 Operator 才会许多组织在一个分类下，构造目录清晰、方便阅读和用到。目年前，Towhee 活动中心也在无论如何逐步覆盖面积 Papers with Code 上的要点特殊任务，反对Gmail对 SOTA 仿真的较更慢试产，避免Gmail在 “读懂博士论文-看懂博士论文作者的修订版构建-一个大改建工程上到的文件JPEG系统化-PoC-机动性最优化” 这个多肽条上的每一次造重物。Towhee 才会对已反对的仿真掺入 Papers with Code 多肽接。如果在 Papers with Code 仿真网址的 'Code' 大多想到 towhee-io/towhee，就说明在 Towhee 可以对该仿真来进行试产。例如区域性假定截图当月的 CLIP4Clip 仿真。

Towhee Hub 上的每一个 Operator repo，既是一个仿真的文件JPEG仓瓦，也是一个同样可codice_的子系统。如年上去的举例来说中所用到的 image_text_embedding.clip_image 等价，完全一致 Hub 上 image-text-embedding/clip_image 这个 repo。这个仓瓦的Gmail名和仓瓦名分别与RISCcodice_中所的包名 image_text_embedding、等价名 clip_image 完全一致。Towhee 按规定了一套 Operator 文件JPEG仓瓦的后端口协议。只要文件JPEG仓瓦的许多组织方基本型恪守这套协议规章，就可以通过 Towhee 给予的辅助工具，将仓瓦文件JPEG操作者化买回来，并可以通过 "Gmail名.仓瓦名" 的方基本型对线性子系统同样加载codice_。

特殊任务后端口标准规范化有一个极为大的优势是可以轻巧切换仿真，而不用担心转用额外的改建工程量。这对于较更慢 PoC 以及RISC新增都很重要。在原型期中，可以根据金融业务命题确定并不须要哪些类别的特殊任务，由于相同特殊任务下的有所不同等价具有一致的codice_后端口，因此可以华特迪士尼积木基本型的自由第一组，来进行较更慢的敏感度无论如何。在投入生产状况如果并不须要对RISC的某个 Operator 新增，也只并不须要在RISC的概念中所替换相应的 Operator，通过 Towhee 新的构建 docker image 才可。

目年前 Towhee 活动中心也在得来Gmail的等价须求，在每个版本中所来进行概述并更是新构建。有这总体须求的同学可以加单项的Slack/微信群来进行谈论或特 github issue。具体多肽接在社论末尾。

DataCollection 程序员后端口

Operator 是华特迪士尼积木，DataCollection 后端口则是强力胶，用来连通积木。通过 DataCollecton 后端口，Towhee Gmail可以轻松构建侦探RISC。DataCollection 在命题上的概念是一个放 Schema 的非构造化资料表格，每即刻完全一致一个资料实体（Entity），每一列完全一致一种资料特性。一个RISC完全一致着各别资料特性操控，每个 Operator 接受一到多个资料特性作为输入，并激发新的资料特性作为反向。

DataCollection 主要有三个抑制作用：

在原型期中，可用构建可同样本地拒绝执行的RISC；

可用概念一个大投入生产部署的 DAG；

作为 driver program 相互连通金融业务命题与RISC一站式。

在社论一开始 CLIP 的举例来说中所，不太可能简单展示了后两个用法。这里对RISC的本地较更慢原型构建继续做一个简单的介绍。CLIP 这个举例来说的本地可拒绝执行版本写出来是这样：

文件JPEG中所方括号的大多而无须了 schema 的具体信息。这个举例来说中所 3 个 Operator 够成了一个收尾相连的多肽，当然，还可以通过 DataCollection 概念一些比 operator-chain 更是复杂的 DAG：

这个举例来说中所，我们先通过 YOLO v5 监测上图像中所出现的 objects，然后在原上图中所将这些 objects 裁切出来，并用到 CLIP 分别对这些 objects 的上图像来进行 embedding feature 的特取。这个 DAG 画出来是这个样子：

CLIP 示例完全一致的 DAG

小型化侦探一站式

Towhee 单项的能够不是打造一款全新的侦探涡轮，而是定位于让现有的小型化侦探涡轮更是加上到。目年前，Towhee 的侦探一站式可视了 Nvidia Triton 侦探基本概念，主要特性之外：

侦探RISC DAG。相比常唯的侦探涡轮只反对 “单纯的数学模型仿真侦探”，或 “年前处理反复-仿真侦探-成品 三期中RISC”，DAG 型的RISC可以覆盖面积更是极为丰富的资料处理反复第一组命题。

异构的侦探后后端。DAG 中所的每一个等价路由器可以在有所不同的后后端涡轮上拒绝执行，既之外数学模型侦探涡轮，如 Pytorch(Torch)，ONNXRuntime, TensorRT；也之外通用的资料处理反复反复，如 Python 函数，DALI，或自概念Python/C++后后端；还之外资料瓦/索引连通器，如 Milvus，FAISS。

大大的的侦探机动性。侦探一站式可在 NVIDIA GPU，x86/ARM CPU 上颇高效运转，反对多 GPU，反对多仿真最简单，反对实时、流基本型、脚本语言、动态脚本语言请求，反对RISC操作者并行。

Docker 与 Kubernetes 部署。侦探RISC都以 Docker 终后端的方基本型来进行封配有，对外给予 grpc 与 http 后端口，隐藏大量核心一致性。可通过 Kubernetes 轻松部署侦探微一站式。

在反对上述特性的同时，Towhee 为Gmail完毕了大量操作者化工作，之外命题上图到物理化学上图的同构，物理化学上图到异构拒绝执行后后端的同构，以及运转期调度。

DAG 的同构与操作者最优化

上上图假定了 CLIP 这个举例来说从RISC概念到抑制作可用侦探RISC一站式的反复。从上到下，整个操作者化构建与拒绝执行反复共分三个期中，分别是命题上图（说明器期），物理化学上图（说明器期），以及拒绝执行后后端（运转期）。命题上图是通过对 DataCollection 来进行 Trace 所获得的关于上图概念的清晰元信息。物理化学上图才会对命题上图中所各个等价路由器来进行物理化学构建的COM，如 image_decode 路由器在物理化学层才会以 Python model 的方基本型拒绝执行 OpenCV 程序中，CLIP 完全一致的上图像年前处理反复反复在物理化学层才会COM DALI 构建，CLIP 仿真在物理化学层才会COM TensorRT 构建。同时，这些等价路由器才会在物理化学层完毕 ensemble 的具体配备、最简单个数配备、以及物理化学森林资源的分配。在运转期，才会根据物理化学上图上各个路由器的物理化学COM，可视拒绝执行后后端，以及物理化学内核与推算森林资源，并根据上图上各个等价路由器的依赖人关系，马达RISC的操作者化拒绝执行。

Roadmap

Towhee 单项的 Roadmap 可以在官网（）拍照。目年前，Towhee 单项还在较更慢迭代与重度研发的期中。单项 Roadmap 上的不可或缺内容有：

年中间地放线性仿真

仿真总体，近期才会定位 CVPR 2022 新揭晓的年中间地放成果，如 CV 水神何恺明的 MAE，香港大学、UC Berkeley、腾讯合作的 MCQ 等。同时，才会内置 AutoEncoder ，给予分量降维控制能力。对于中所文区域性假定搜索、多假定当月、文件JPEG等资料上的特殊任务类别也才会有仿真更是新。

进展详情请注目单项的 Model ChangeLog。

推算机动态：

MAE：Masked Autoencoders Are Scalable Vision Learners CVPR2022 (backbone)

SVT：Self-supervised Video Transformer (action recognition)

TransRAC：Encoding Multi-scale Temporal Correlation with Transformers for Repetitive Action Counting (repetitive action counting)

CoFormer：Collaborative Transformers for Grounded Situation Recognition (action recognition/grounded action counting)

MCQ：Bridging Video-text Retrieval with Multiple Choice Question (text video retrieval)

STRM：Spatio-temporal Relation Modeling for Few-shot Action Recognition (action recognition)

多假定：

CoOp：Conditional Prompt Learning for Vision-Language Models (visual language task)

CVNet：Correlation Verification for Image Retrieval (image retrieval)

文件JPEG文件：

CodeBERT：A Pre-Trained Model for Programming and Natural Languages

CodeGen：A Conversational Paradigm for Program Synthesis

Embedding 分量降维：

Autoencoder

程序员后端口与辅助工具

更是加统一的 DataCollection 脚本语言后端口与流处理反复后端口。

反对自概念的等价。Towhee 目年前假定了比较极为丰富的标准规范等价子系统，但在常唯的金融业务流程中所，通常才会转用金融业务命题，自概念等价可以极好的满足这大多须求。Towhee 的自概念等价将才会具体联两种形态，一种是通过 python 的 lambda 表达基本型抑制作可用，另一种是通过继承 Operator 派生类抑制作可用。

等价的买回来与配有设辅助工具新增。反对基于 pip 的买回来与配有设，并给予基于 AWS S3 的仿真值下载一站式，最优化本地仿真值缓存。

侦探一站式最优化

反对截图与音频的侦探RISC。长截图或长音频的处理反复往往才会耗时大量物理化学森林资源，针对这类情景，Towhee 将不再一次性作准备帧资料，而是给予流基本型的帧资料处理反复，以降低内核/XT须求。

在侦探一站式构建中所清晰反对 Schema。

基于 numba 的 python 等价操作者最优化 （试验期中）。Towhee 通过自概念等价反对金融业务具体的命题，我们鼓励Gmail用到 python 来较更慢构建这些命题，同时，Towhee 才会在下层对这些 python 文件JPEG来进行尽可能的最优化：基于 numba，用到LLVM说明器应用说明字节码，最优化 IR 并中文翻译到能够文件JPEG来进行拒绝执行。

本地拒绝执行最优化

反对基于 Apache Arrow 的列存资料，特颇高本地内核能量消耗，反对年中内核上的向取样拒绝执行。

Transformer 仿真构造的拒绝执行机动性最优化（试验期中）。

Towhee 单项的具体多肽接

Github：

单项主页：

Slack：

。

有什么办法可以祛湿
奥适宝
儿童装健胃消食片
眼睛痒怎么办
肩颈痛怎么治疗效果好