LLMHub
44 subscribers
9 photos
6 links
https://llmhub.app 是一个 OpenAI 和 Claude API 中转服务。
Download Telegram
llmhub.app 已经支持 OpenAI 最新的 gpt-4o 和 gpt-4o-2024-05-13 模型。
价格和官方的一样,输入 $5 / 1M tokens, 输出 $15 / 1M tokens

建议 GPT-4 都用gpt-4o这个模型,目前最便宜。
之前流式输出特别卡顿(就是输出内容的打字效果不好,间隔很久才输出一大段文字),现在已经修复。修复方法是把 Caddy 服务器换成了 Nginx 😂
支持最新的模型 gpt-4o-mini了,价格是:输入 $0.15 / 百万 token,输出 $0.6 / 百万 token
比 gpt-3.5-turbo还便宜,用 3.5 来翻译的朋友,可以换成 gpt-4o-mini 了 😂
这只是一个进化版的 gpt-3.5,能力比 gpt-4o 差很多,没法替代 gpt-4o。
已经支持 gpt-4o-2024-08-06, 用 4o 模型的朋友可以试试。 价格是: 输入 $2.5 / 1M token 输出 $10 / 1M token
Claude 的 API 已经恢复。
没想到大家会用那么快,Claude 的额度使用超出了预期,昨晚我账号里提前充值的钱都用完了,目前已经充值恢复了。
目前GPT的 API 已经恢复正常,请不要使用 API 翻译色情或暴力内容 🤣 如果是用沉浸式翻译插件,请别自动翻译色情网站的内容啦,谢谢。
已经支持 Claude 最新的 Claude 3.5 Sonnet 新模型,模型名称是 claude-3-5-sonnet-20241022
价格和6 月份的 claude-3-5-sonnet-20240620 一样, 输入 $3 / 100 万 token, 输出 $15 / 100 万 token。

还不支持 Claude 3.5 Haiku,因为官方也没有开放这个 API,如果开放了 LLMHub 会第一时间支持。
已经支持 Claude 3.5 Haiku,模型名称是 claude-3-5-haiku-20241022

价格: 输入 $1 / 100万 token, 输出 $5 / 100 万 token

官方说这个模型的能力比之前的 Opus 强大。
做个调查,除了 Claude 和 GPT 的 API, 大家还想要新增什么 API
Anonymous Poll
44%
Gemini
11%
Mistral
33%
Qwen(海外一些服务商部署的版本
22%
Flux
44%
Midjourney
33%
Stable Diffusion
LLMHub 已经从开源项目 one-api 迁移到了自己开发的系统。

您并不需要做什么,原来的数据已全部迁移到新系统,不会对您登录网站后台和使用 GPT/Claude API 有任何影响。
迁移到新系统之后,我发现后台有很多 Claude 请求失败的记录,应该是客户端配置错误造成的,LLMHub 的 Claude API 只支持通过 OpenAI 的 API 格式调用,也就是在客户端配置的时候,选择的服务商是 OpenAI,然后通过自定义模型输入 Claude 的模型名称使用。现在不支持Claude 官方 API 格式的渠道,直接在 Cursor 等软件配置Claude 渠道是不对的。

希望一直在尝试发请求的用户可以看到这条。
LLMHub 更新:
目前 LLMHub 的 API 已经支持 Anthropic ,也就是 Claude 原生格式的 API 转发,API 使用示例 :
curl https://llmhub.app/v1/messages \
--header "anthropic-version: 2023-06-01" \
--header "content-type: application/json" \
--header "x-api-key: $LLMHub_API_Key" \
--data \
'{
"model": "claude-3-5-haiku-20241022",
"messages": [{"role": "user", "content": "Hello"}],
"max_tokens": 256,
"stream": true
}'

你也可以通过 Anthropic SDK
调用。

在 Dify 的配置如图所示。

使用 OpenAI API 格式的请求依旧可以继续使用 Claude 模型。适配 Anthropic endpoint是因为有些客户端没法通过自定义 OpenAI 模型名称来使用 Claude。

现在大家可以直接在客户端选择 Anthropic/Claude 服务商,然后配置使用了, 域名、API Key 和 配置 OpenAI 的一样,唯一的区别是对话完整的 URL 是 /v1/messages 结尾的,请根据客户端的提示配置。
现在 LLMHub 所有的功能都是我自己做的了,之前还用了一些开源项目实现 API 转发,现在连转发都是自己写的。前段时间稳定性不太行,有各种问题,经过这两天熬夜折腾,现在稳定性应该好点了,要是使用遇到问题,欢迎联系 service@toolchan.com 😂

要完美兼容 OpenAI 和 Claude 的 API 格式,要花不少精力,后续会持续迭代更新。
👍2👏1
妈的,大意了,为了做个测试把 Surge 关了,然后忘记打开了,不小心用国内 IP 请求了 Claude API 🥲 在调试 LLMHub,请求失败了我还连续发了很多个请求。希望号没事。 要是 LLMHub 的 Claude API 挂了,就是我的号被封了,麻烦邮件联系提醒我。

我就一个号,还是需要邀请的时候注册的,一直用到现在 🤣 现在先去准备注册备用号了。
😭1
已经重新开始写 LLMHub 的客户端了(截图是用 Cursor 一分钟生成的),我一直想开发一个 ChatGPT/Claude 套壳客户端 😂 注册之后就可以直接使用,现在LLMHub 的很多用户注册后一个 API 请求都没发,应该是配置太复杂了。

这个客户端会有网页版/Mac App/Windows App/iOS App,支持Claude,GPT,Gemini,Grok, Midjournmey 等等一系列模型。

Mac 和 Windows App 充分利用系统的能力,能做一些有用或好玩的东西。
👍2
LLMHub
妈的,大意了,为了做个测试把 Surge 关了,然后忘记打开了,不小心用国内 IP 请求了 Claude API 🥲 在调试 LLMHub,请求失败了我还连续发了很多个请求。希望号没事。 要是 LLMHub 的 Claude API 挂了,就是我的号被封了,麻烦邮件联系提醒我。 我就一个号,还是需要邀请的时候注册的,一直用到现在 🤣 现在先去准备注册备用号了。
后续,我的 Claude 账号确实被封了。宝贵的经验:如果你有 Claude 帐户,千万别用国内和香港的 IP 登录或者请求 API。早上一下子收到了 20 多封退款邮件,不知道会不会退回到卡里。目前 LLMHub 的 Claude API 已经用备份的 API,可正常使用。
😢1
Claude 的 API 已经恢复正常。
早上起来发现我的 Claude 账号解封了。8 号那天提交了申诉,今天解封。Claude 第一次封号应该是风控系统自动完成的。
Claude 账号被封了,LLMHub 的 Claude API 晚点恢复。