本文记录使用 OpenAI 的 API 和豆包进行对接的时候,如何控制豆包是否进入思考模式。本文内容可直接与 Microsoft Agent Framework 对接
按照豆包官方文档可以知道,通过 thinking 的类型可以控制豆包是否进入思考模式,官方文档请看: https://www.volcengine.com/docs/82379/1449737
可选参数如下:
- enabled:强制开启,强制开启深度思考能力。
- disabled:强制关闭深度思考能力。
- auto:模型自行判断是否进行深度思考
按照 GitHub 上的 https://github.com/openai/openai-dotnet/issues/132 可了解到对应的 OpenAI 的调用方法是通过 ChatCompletionOptions 的 Patch 属性设置,代码如下
var chatCompletionOptions = new ChatCompletionOptions();
#pragma warning disable SCME0001
// https://www.volcengine.com/docs/82379/1449737
// 提供 thinking 字段控制是否关闭深度思考能力,实现“复杂任务深度推理,简单任务高效响应”的精细控制,获得成本、效率收益
// 取值说明:
// enabled:强制开启,强制开启深度思考能力。
// disabled:强制关闭深度思考能力。
// auto:模型自行判断是否进行深度思考。
chatCompletionOptions.Patch.Set("$.thinking"u8, BinaryData.FromString("""{ "type": "disabled" }"""));
这里需要明确使用 #pragma warning disable SCME0001 开启实验性功能。这是因为 Patch 属性现在官方还没考虑好,还不确定是否如此开放,因此被标记了实验性功能
在调用 CompleteChatStreamingAsync 方法的时候,将以上的 ChatCompletionOptions 传递进去就可以了,代码如下
await foreach (var streamingChatCompletionUpdate in chatClient.CompleteChatStreamingAsync([new UserChatMessage("你好")], chatCompletionOptions))
{
}
以上方法可以配合在 Microsoft Agent Framework 的 Microsoft.Agents.AI.OpenAI 库使用,对应调用豆包的 https://ark.cn-beijing.volces.com/api/v3 地址即可
全部演示代码如下
using OpenAI;
using OpenAI.Chat;
using System;
using System.ClientModel;
using System.ClientModel.Primitives;
using System.Text;
using System.Text.Json;
var keyFile = @"C:\lindexi\Work\Doubao.txt";
var key = File.ReadAllText(keyFile); // 请换成你自己的 key 哦
var openAiClient = new OpenAIClient(new ApiKeyCredential(key), new OpenAIClientOptions()
{
Endpoint = new Uri("https://ark.cn-beijing.volces.com/api/v3"),
});
var chatClient = openAiClient.GetChatClient("ep-20260306101224-c8mtg"); // 请换成你自己的模型
var chatCompletionOptions = new ChatCompletionOptions();
#pragma warning disable SCME0001
// https://www.volcengine.com/docs/82379/1449737
// 提供 thinking 字段控制是否关闭深度思考能力,实现“复杂任务深度推理,简单任务高效响应”的精细控制,获得成本、效率收益
// 取值说明:
// enabled:强制开启,强制开启深度思考能力。
// disabled:强制关闭深度思考能力。
// auto:模型自行判断是否进行深度思考。
chatCompletionOptions.Patch.Set("$.thinking"u8, BinaryData.FromString("""{ "type": "disabled" }"""));
#pragma warning restore SCME0001
bool isThinking = true;
bool isAnyOutput = false;
bool isAnyThinking = false;
bool isFirstTextOutput = true;
await foreach (var streamingChatCompletionUpdate in chatClient.CompleteChatStreamingAsync([new UserChatMessage("你好")], chatCompletionOptions))
{
var chatMessageContent = streamingChatCompletionUpdate.ContentUpdate;
#pragma warning disable SCME0001
ref JsonPatch patch = ref streamingChatCompletionUpdate.Patch;
#pragma warning restore SCME0001
if (patch.TryGetJson("$.choices[0].delta"u8, out var data))
{
var jsonElement = JsonElement.Parse(data.Span);
if (jsonElement.TryGetProperty("reasoning_content", out var reasoningContent))
{
if (!isAnyOutput && isThinking)
{
Console.WriteLine("思考:");
}
isAnyThinking = true;
Console.Write(reasoningContent.ToString());
}
}
foreach (var chatMessageContentPart in chatMessageContent)
{
if (!string.IsNullOrEmpty(chatMessageContentPart.Text))
{
isThinking = false;
if (isAnyThinking && isFirstTextOutput)
{
// 有思考,且当前是首次内容输出,输出分隔符
Console.WriteLine();
Console.WriteLine("---------");
}
isFirstTextOutput = false;
}
Console.Write(chatMessageContentPart.Text);
}
isAnyOutput = true;
}
Console.WriteLine();
Console.Read();
请自行尝试切换 thinking 的模式,运行测试控制台输出内容
本文代码放在 github 和 gitee 上,可以使用如下命令行拉取代码。我整个代码仓库比较庞大,使用以下命令行可以进行部分拉取,拉取速度比较快
先创建一个空文件夹,接着使用命令行 cd 命令进入此空文件夹,在命令行里面输入以下代码,即可获取到本文的代码
git init
git remote add origin https://gitee.com/lindexi/lindexi_gd.git
git pull origin 7cf5cc06e00b03ec7d695911ae6bfdc1ed9701d8
以上使用的是国内的 gitee 的源,如果 gitee 不能访问,请替换为 github 的源。请在命令行继续输入以下代码,将 gitee 源换成 github 源进行拉取代码。如果依然拉取不到代码,可以发邮件向我要代码
git remote remove origin
git remote add origin https://github.com/lindexi/lindexi_gd.git
git pull origin 7cf5cc06e00b03ec7d695911ae6bfdc1ed9701d8
获取代码之后,进入 SemanticKernelSamples/JunayfallruHaldearwaije 文件夹,即可获取到源代码
相关博客:
本文会经常更新,请阅读原文: https://blog.lindexi.com/post/dotnet-%E5%AF%B9%E6%8E%A5%E8%B1%86%E5%8C%85%E6%A8%A1%E5%9E%8B%E6%97%B6%E5%A6%82%E4%BD%95%E6%8E%A7%E5%88%B6%E6%98%AF%E5%90%A6%E8%BF%9B%E5%85%A5%E6%80%9D%E8%80%83%E6%A8%A1%E5%BC%8F.html ,以避免陈旧错误知识的误导,同时有更好的阅读体验。
如果你想持续阅读我的最新博客,请点击 RSS 订阅,推荐使用RSS Stalker订阅博客,或者收藏我的博客导航
本作品采用
知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议
进行许可。欢迎转载、使用、重新发布,但务必保留文章署名林德熙(包含链接:
https://blog.lindexi.com
),不得用于商业目的,基于本文修改后的作品务必以相同的许可发布。如有任何疑问,请
与我联系
。
无盈利,不卖课,做纯粹的技术博客
以下是广告时间
推荐关注 Edi.Wang 的公众号
欢迎进入 Eleven 老师组建的 .NET 社区
以上广告全是友情推广,无盈利