AI

GitHub助力AI之GitHub-Models

前言

我们正在推出 GitHub Models，使超过 1 亿的开发人员能够成为 AI 工程师并使用行业领先的 AI 模型进行构建。

  • 已申请，待通过后再更新。 已通过。

申请

申请地址：Marketplace · GitHub

image.png

使用

image.png

  • 由于我还没通过申请，所以点击Playground后还是无法使用。
    image.png

  • 通过申请，然后根据提示进行操作。

使用步骤

  • 以openai-gpt-4o模型为例
  1. 登录GitHub账号，点击右上角头像，选择 Settings > Developer settings > Personal access tokens > Generate new toke。
  2. 安装openai npm install openai
  3. 示例代码
1
export GITHUB_TOKEN="<your-github-token-goes-here>"
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
import OpenAI from "openai";

const token = process.env["GITHUB_TOKEN"];
const endpoint = "https://models.inference.ai.azure.com";
const modelName = "gpt-4o";

export async function main() {

  const client = new OpenAI({ baseURL: endpoint, apiKey: token });

  const response = await client.chat.completions.create({
    messages: [
        { role:"system", content: "You are a helpful assistant." },
        { role:"user", content: "What is the capital of France?" }
      ],
      model: modelName,
      temperature: 1.0,
      max_tokens: 1000,
      top_p: 1.0
    });

  console.log(response.choices[0].message.content);
}

main().catch((err) => {
  console.error("The sample encountered an error:", err);
});

模型选择

GitHub Models 提供了一系列功能各异的模型来满足不同开发需求。如 Mistral 模型具有低延迟优势，而 GPT-4o 在构建需要实时音频、视觉和文本的多模态应用程序时表现出色。开发者可以在这里测试和比较不同模型，选择最适合自己项目的方案。

使用限制

游乐场和免费 API 使用受到每分钟请求次数、每天请求次数、每次请求的 token 数和并发请求数的速率限制（文档：Rate limits - Prototyping with AI models - GitHub Docs）。如果达到速率限制，则需要等待限制重置后才能进行更多请求。低、中、高和嵌入模型有不同的速率限制。
image.png

相关