智能客服系统对接通义千问和月之暗面MoonshotAI-基于OneAPI中转

我们的智能 AI 客服系统已经对接了多种大模型,包括通义千问和 Moonshot
 
 
现在 GPT 大模型或国产大模型有很多,Azure、Anthropic Claude、Google PaLM 2、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元,我们需要有一个中间系统来将多种 LLM 接口转换为兼容 OpenAI 的接口形式,对外提供一致的调用方法

 

  1.   下载源码

  git clone https://github.com/songquanpeng/one-api.git
  1.   创建 MySQL 数据库

  create database `oneapi`
  1.   设置环境变量

  该环境变量是数据库的连接信息
  在 Windows 中设置环境变量,需要使用管理员运行 cmd 命令行
  setx SQL_DSN "root:123456@tcp(localhost:3306)/oneapi" /m
  1.   在 Linux 中设置环境变量:

  使用 ~/.bashrc 或 ~/.bash_profile:
    打开终端。
    使用文本编辑器打开 ~/.bashrc~/.bash_profile 文件。
    在文件末尾添加如下行:
    export SQL_DSN="root:123456@tcp(localhost:3306)/oneapi"
    保存并关闭文件。
    运行 source ~/.bashrcsource ~/.bash_profile 使更改生效。
  1.   编译前端

  进入 web 目录
  npm install npm run build
  也可以本地 windows 编译后,直接上传到 web/build/ 目录下面
  1.   源码运行

  go run main.go
  1.   访问地址

  默认监听 3000 端口
  http://localhost:3000
  1.   编译运行

  如果有修改前端资源,必须从新编译程序
go build -o oneapi
  1. 使用 supervisior 启动守护模式

配置文件中需要增加环境变量
environment=SQL_DSN="oneapi:oneapi@tcp(127.0.0.1:3306)/oneapi"
启动命令需要使用绝对路径
command=/www/wwwroot/one-api/oneapi --port 3001