Baseten加入Hugging Face推理提供商:AI模型部署的新选择

0 阅读

引言

在人工智能快速发展的今天,模型部署和推理的效率成为开发者关注的核心问题。Hugging Face作为全球最大的AI社区,不断扩展其生态系统,为用户提供多样化的推理服务。近日,Baseten正式成为Hugging Face的推理提供商,这一合作将为开发者带来哪些新的可能性?本文将深入探讨Baseten的集成细节、使用方式及其对AI开发流程的影响。

banner image

Baseten:AI基础设施的新锐力量

Baseten是一家专注于AI基础设施的平台,提供服务器无服务器推理、模型训练等服务。其模型目录涵盖众多前沿模型,从大型语言模型到文本转语音等,开发者可以轻松集成各种AI能力。此次与Hugging Face的合作,Baseten将首先支持对话和文本生成任务,包括Kimi K3、DeepSeek V4 Flash、GLM-5.2等热门开源模型。未来,还将扩展更多任务类型,满足更广泛的需求。

集成方式:无缝接入Hugging Face生态

网页UI中的配置

在Hugging Face的模型页面,用户可以在账户设置中配置推理提供商。具体来说,用户可以设置自己的API密钥,或者选择由Hugging Face路由请求。此外,用户还可以调整提供商的优先级,这会影响模型页面上的小部件和代码片段。这种灵活的设计,让用户可以根据自己的需求定制推理体验。

客户端SDK的调用

Baseten已集成到Hugging Face的官方SDK中,包括Python的huggingface_hub(>=1.26.1)和JavaScript的@huggingface/inference。以下是一个使用DeepSeek V4 Flash的示例,通过OpenAI兼容的接口调用:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://router.huggingface.co/v1",
    api_key=os.environ["HF_TOKEN"],
)

completion = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V4-Flash-0731:baseten",
    messages=[
        {"role": "user", "content": "Write a Python function that returns the nth Fibonacci number using memoization."}
    ],
)

print(completion.choices[0].message)

JavaScript的调用方式类似,只需将baseURLapiKey设置为相应的值。这种统一的接口设计,大大降低了开发者的学习成本。

与Agent框架的集成

除了SDK,Hugging Face推理提供商还支持多种Agent框架,如Pi、OpenCode、Hermes Agents等。这意味着开发者可以直接在常用的工具中使用Baseten托管的模型,无需额外的胶水代码。这一特性极大地提升了开发效率,让AI应用构建更加流畅。

Inference Providers

计费模式:透明且灵活

Inference Providers

Baseten的计费模式分为两种:直接请求和路由请求。直接请求使用用户自己的Baseten API密钥,费用直接计入Baseten账户;路由请求则通过Hugging Face Hub认证,用户只需支付标准的提供商API费率,Hugging Face不收取额外加价。这种透明的计费方式,让用户能够清晰掌握成本。

Inference Providers

值得一提的是,Hugging Face PRO用户每月可获得2美元的推理积分,可用于所有提供商。这为频繁使用推理服务的开发者提供了实实在在的优惠。此外,免费用户也有少量免费推理额度,但升级到PRO可以获得更多权益,如更高的限制和ZeroGPU等。

实际应用场景与优势

Baseten的加入,为开发者带来了多重优势。首先,模型选择更加丰富,尤其是那些在Baseten上表现优异的模型,如DeepSeek V4 Flash,其性能在同类模型中颇具竞争力。其次,通过Hugging Face的统一接口,开发者可以轻松切换不同的提供商,避免供应商锁定。最后,路由模式下的成本透明,有助于企业进行预算规划。

例如,一个初创团队需要快速原型验证,他们可以利用Hugging Face的免费额度或PRO积分,通过Baseten调用最新模型,而无需立即投入大量资金。随着业务增长,他们可以切换到直接模式,使用自己的Baseten账户,享受更稳定的服务。

未来展望与反馈

Hugging Face和Baseten的合作才刚刚开始,未来将支持更多任务类型,如文本转语音、图像生成等。同时,Hugging Face也在积极收集用户反馈,以优化推理提供商的体验。开发者可以通过Hugging Face的讨论空间分享意见,共同塑造这一功能的未来。

结语

Baseten成为Hugging Face推理提供商,标志着AI模型部署的进一步民主化。无论是个人开发者还是企业团队,都能从中受益,以更低的门槛、更灵活的方式使用前沿AI模型。随着生态系统的不断壮大,我们有理由相信,AI应用的创新将更加蓬勃。