本文记录使用 OpenAI 的 API 和豆包进行对接的时候,如何控制豆包是否进入思考模式。本文内容可直接与 Microsoft Agent Framework 对接

按照豆包官方文档可以知道,通过 thinking 的类型可以控制豆包是否进入思考模式,官方文档请看: https://www.volcengine.com/docs/82379/1449737

可选参数如下:

  • enabled:强制开启,强制开启深度思考能力。
  • disabled:强制关闭深度思考能力。
  • auto:模型自行判断是否进行深度思考

按照 GitHub 上的 https://github.com/openai/openai-dotnet/issues/132 可了解到对应的 OpenAI 的调用方法是通过 ChatCompletionOptions 的 Patch 属性设置,代码如下

var chatCompletionOptions = new ChatCompletionOptions();

#pragma warning disable SCME0001

// https://www.volcengine.com/docs/82379/1449737
// 提供 thinking 字段控制是否关闭深度思考能力,实现“复杂任务深度推理,简单任务高效响应”的精细控制,获得成本、效率收益
// 取值说明:
// enabled:强制开启,强制开启深度思考能力。
// disabled:强制关闭深度思考能力。
// auto:模型自行判断是否进行深度思考。
chatCompletionOptions.Patch.Set("$.thinking"u8, BinaryData.FromString("""{ "type": "disabled" }"""));

这里需要明确使用 #pragma warning disable SCME0001 开启实验性功能。这是因为 Patch 属性现在官方还没考虑好,还不确定是否如此开放,因此被标记了实验性功能

在调用 CompleteChatStreamingAsync 方法的时候,将以上的 ChatCompletionOptions 传递进去就可以了,代码如下

await foreach (var streamingChatCompletionUpdate in chatClient.CompleteChatStreamingAsync([new UserChatMessage("你好")], chatCompletionOptions))
{
}

以上方法可以配合在 Microsoft Agent Framework 的 Microsoft.Agents.AI.OpenAI 库使用,对应调用豆包的 https://ark.cn-beijing.volces.com/api/v3 地址即可

全部演示代码如下

using OpenAI;
using OpenAI.Chat;

using System;
using System.ClientModel;
using System.ClientModel.Primitives;
using System.Text;
using System.Text.Json;

var keyFile = @"C:\lindexi\Work\Doubao.txt";
var key = File.ReadAllText(keyFile); // 请换成你自己的 key 哦

var openAiClient = new OpenAIClient(new ApiKeyCredential(key), new OpenAIClientOptions()
{
    Endpoint = new Uri("https://ark.cn-beijing.volces.com/api/v3"),

});

var chatClient = openAiClient.GetChatClient("ep-20260306101224-c8mtg"); // 请换成你自己的模型
var chatCompletionOptions = new ChatCompletionOptions();
#pragma warning disable SCME0001

// https://www.volcengine.com/docs/82379/1449737
// 提供 thinking 字段控制是否关闭深度思考能力,实现“复杂任务深度推理,简单任务高效响应”的精细控制,获得成本、效率收益
// 取值说明:
// enabled:强制开启,强制开启深度思考能力。
// disabled:强制关闭深度思考能力。
// auto:模型自行判断是否进行深度思考。
chatCompletionOptions.Patch.Set("$.thinking"u8, BinaryData.FromString("""{ "type": "disabled" }"""));

#pragma warning restore SCME0001

bool isThinking = true;
bool isAnyOutput = false;
bool isAnyThinking = false;
bool isFirstTextOutput = true;

await foreach (var streamingChatCompletionUpdate in chatClient.CompleteChatStreamingAsync([new UserChatMessage("你好")], chatCompletionOptions))
{
    var chatMessageContent = streamingChatCompletionUpdate.ContentUpdate;

#pragma warning disable SCME0001
    ref JsonPatch patch = ref streamingChatCompletionUpdate.Patch;
#pragma warning restore SCME0001

    if (patch.TryGetJson("$.choices[0].delta"u8, out var data))
    {
        var jsonElement = JsonElement.Parse(data.Span);
        if (jsonElement.TryGetProperty("reasoning_content", out var reasoningContent))
        {
            if (!isAnyOutput && isThinking)
            {
                Console.WriteLine("思考:");
            }

            isAnyThinking = true;
            Console.Write(reasoningContent.ToString());
        }
    }

    foreach (var chatMessageContentPart in chatMessageContent)
    {
        if (!string.IsNullOrEmpty(chatMessageContentPart.Text))
        {
            isThinking = false;

            if (isAnyThinking && isFirstTextOutput)
            {
                // 有思考,且当前是首次内容输出,输出分隔符
                Console.WriteLine();
                Console.WriteLine("---------");
            }

            isFirstTextOutput = false;
        }

        Console.Write(chatMessageContentPart.Text);
    }

    isAnyOutput = true;
}

Console.WriteLine();

Console.Read();

请自行尝试切换 thinking 的模式,运行测试控制台输出内容

本文代码放在 githubgitee 上,可以使用如下命令行拉取代码。我整个代码仓库比较庞大,使用以下命令行可以进行部分拉取,拉取速度比较快

先创建一个空文件夹,接着使用命令行 cd 命令进入此空文件夹,在命令行里面输入以下代码,即可获取到本文的代码

git init
git remote add origin https://gitee.com/lindexi/lindexi_gd.git
git pull origin 7cf5cc06e00b03ec7d695911ae6bfdc1ed9701d8

以上使用的是国内的 gitee 的源,如果 gitee 不能访问,请替换为 github 的源。请在命令行继续输入以下代码,将 gitee 源换成 github 源进行拉取代码。如果依然拉取不到代码,可以发邮件向我要代码

git remote remove origin
git remote add origin https://github.com/lindexi/lindexi_gd.git
git pull origin 7cf5cc06e00b03ec7d695911ae6bfdc1ed9701d8

获取代码之后,进入 SemanticKernelSamples/JunayfallruHaldearwaije 文件夹,即可获取到源代码

相关博客:


本文会经常更新,请阅读原文: https://blog.lindexi.com/post/dotnet-%E5%AF%B9%E6%8E%A5%E8%B1%86%E5%8C%85%E6%A8%A1%E5%9E%8B%E6%97%B6%E5%A6%82%E4%BD%95%E6%8E%A7%E5%88%B6%E6%98%AF%E5%90%A6%E8%BF%9B%E5%85%A5%E6%80%9D%E8%80%83%E6%A8%A1%E5%BC%8F.html ,以避免陈旧错误知识的误导,同时有更好的阅读体验。

如果你想持续阅读我的最新博客,请点击 RSS 订阅,推荐使用RSS Stalker订阅博客,或者收藏我的博客导航

知识共享许可协议 本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。欢迎转载、使用、重新发布,但务必保留文章署名林德熙(包含链接: https://blog.lindexi.com ),不得用于商业目的,基于本文修改后的作品务必以相同的许可发布。如有任何疑问,请 与我联系

微软最具价值专家


无盈利,不卖课,做纯粹的技术博客

以下是广告时间

推荐关注 Edi.Wang 的公众号

欢迎进入 Eleven 老师组建的 .NET 社区

以上广告全是友情推广,无盈利