chatgpt_reverse_proxy

ChatGPT_reverse_proxy

ChatGPT_reverse_proxy 是 ai api 反向代理。可以在自建服务器、云函数上使用。

• 默认支持 OpenAI API 反向代理，请求 api 时，直接把接口地址 ( https://api.openai.com ) 替换为反向代理服务的地址。
• 支持 Azure OpenAI API 反向代理，将 OXY_TARGET 环境变量修改为 Azure OpenAI 服务地址示例：https://docs-test-001.openai.azure.com

  Azure 检索密钥和服务地址
  https://learn.microsoft.com/zh-cn/azure/ai-services/openai/chatgpt-quickstart?tabs=command-line%2Cpython&pivots=programming-language-go
  

可用的环境变量

1. OXY_TARGET: 反向代理目标，默认=https://api.openai.com
2. OXY_PORT: 代理服务端口，默认=9000
3. OXY_HOP_HEADER_PREFIX: 跳过 http header 前缀，默认为空

自托管chatGPT反向代理服务

使用二进制发行版

1. 支持的操作系统

   • Windows
   • Linux
   • macOS
   • FreeBSD
   • OpenBSD

2. 下载 chatgpt_reverse_proxy 最新版本 releases

3. 开始运行它:

   linux

   如需重新定义环境变量

   $ export OXY_PORT=9000
   

   运行反向代理服务

   $ ./chatgpt_reverse_proxy
   

4. OpenAI API 端点地址样例：

   http://localhost:9000/v1/completions
   http://localhost:9000/v1/chat/completions
   

docker

1. 拉取容器映像

   $ docker pull ghcr.io/lenye/chatgpt_reverse_proxy
   

2. docker compose

   docker_compose.yml

   services:
      chatgpt_reverse_proxy:
         image: ghcr.io/lenye/chatgpt_reverse_proxy:latest
         restart: unless-stopped
         ports:
            - "9000:9000"
         volumes:
            - /etc/localtime:/etc/localtime:ro
            - /etc/timezone:/etc/timezone:ro
         environment:
            OXY_PORT: "9000"
            OXY_TARGET: "https://api.openai.com"
            OXY_HOP_HEADER_PREFIX: ""
   

   运行反向代理服务

   $ docker compose up -d
   

在云函数搭建chatGPT反向代理服务

https://service-xxx-xxx.xxx.apigw.tencentcs.com/v1/completions
https://service-xxx-xxx.xxx.apigw.tencentcs.com/v1/chat/completions

使用样例

OpenAI

package main

import (
	"context"
	"fmt"
	"os"

	"github.com/sashabaranov/go-openai"
)

func main() {
	cfg := openai.DefaultConfig(os.Getenv("OPENAI_API_KEY"))

	// 修改 BaseURL 为反向代理服务的地址，当前示例为腾讯云函数的地址，不要忘记"/v1"
	cfg.BaseURL = "https://service-xxx-xxx.xxx.apigw.tencentcs.com/v1"

	client := openai.NewClientWithConfig(cfg)

	ctx := context.Background()
	// list models
	models, err := client.ListModels(ctx)
	if err != nil {
		fmt.Printf("ListModels error: %v\n", err)
		os.Exit(1)
	}
	// print the first model's id
	fmt.Println(models.Models[0].ID)
}

其他样例

import os

import openai

openai.api_key = os.getenv("OPENAI_API_KEY")

# 修改 api_base 为反向代理服务的地址，当前示例为腾讯云函数的地址，不要忘记"/v1"
openai.api_base = "https://service-xxx-xxx.xxx.apigw.tencentcs.com/v1"

# list models
models = openai.Model.list()
# print the first model's id
print(models.data[0].id)

License

ChatGPT_reverse_proxy is released under the Apache 2.0 license.