本文将告诉大家如何基于 WPF 框架、Windows.Graphics 截图能力和本地部署的千问多模态大模型,实现一款完全离线的屏幕使用记录工具,自动定时截图并解读当前屏幕内容,方便自己回溯一天的工作内容,全程无需联网,完全保障隐私安全。
本文内容由 AI 辅助编写
界面
以下是在我电脑上跑出来的效果图

背景
我之前一直想统计自己每天的时间分配,清晰了解大部分时间花在哪些应用、哪些任务上,但市面上的同类工具要么需要上传截图到云端,隐私得不到保障,要么只能统计前台应用的驻留时长,没办法知道具体在操作什么内容。同时为了测试本地多模态大模型的能力是否足够成熟,于是就做了这么一款完全离线的屏幕记录工具。
技术细节
- 截图能力:采用 Windows.Graphics API 实现截图,相比传统 GDI 截图性能更好,资源占用极低,再加上 10 秒截一次,对整机性能几乎没有影响,天然支持多屏幕同时适配。
- 大模型:使用本地 Ollama 部署的 qwen3-vl:8b 多模态模型,完全离线运行,不需要把截图传到任何第三方服务器,隐私完全可控,8B 参数的模型在普通消费级显卡上就能流畅运行,一次解读仅需 2-3 秒。
- 上下文逻辑:每次解读时会带上最近 10 张截图的历史解读内容,保证上下文连贯性,同时明确要求模型优先信任当前截图的内容,避免历史内容误导解读结果。
核心实现
1. 大模型解读服务
解读服务的核心是 Prompt 设计,我专门限制了模型的输出规则,避免返回泛泛而谈的无效内容,要求必须明确指出当前打开的应用、文档/页面名称、正在执行的操作,核心代码如下:
public ScreenshotAnalysisService(Uri ollamaEndpoint, string modelId)
{
var ollamaApiClient = new OllamaApiClient(ollamaEndpoint, modelId);
_agent = new ChatClientAgent(
ollamaApiClient,
instructions:
"""
You analyze desktop screenshots.
Reply in Chinese with 1-2 sentences.
Name the visible application, page, or document whenever it can be identified.
Describe the current task and include only details that are actually visible.
If a detail is unclear, say so instead of guessing.
""");
}
以上提示词由 GitHub Copilot 编写
调用时需要传入当前截图的字节流、截图时间和最近 10 条历史解读上下文,核心调用逻辑如下:
public async Task<string> AnalyzeAsync(
string imagePath,
DateTimeOffset capturedAt,
IReadOnlyCollection<SnapshotAnalysisContext> recentContexts,
CancellationToken cancellationToken = default)
{
var imageBytes = await File.ReadAllBytesAsync(imagePath, cancellationToken);
var message = new ChatMessage
{
Role = ChatRole.User,
Contents =
[
new TextContent(BuildPrompt(capturedAt, recentContexts)),
new DataContent(imageBytes, GetImageMimeType(imagePath))
]
};
var response = await _agent.RunAsync(message);
return response.Text?.Trim() ?? "模型没有返回可用的解读内容。";
}
这里的 BuildPrompt 方法会把最近 10 条历史记录按时间顺序拼接到提示词中,同时明确告知模型历史内容仅作为参考,优先级低于当前截图。
2. 定时截图循环
默认 10 秒截图一次,支持多屏幕依次处理,避免同时截图造成性能波动,核心循环逻辑如下:
private async Task RunCaptureLoopAsync(CancellationToken cancellationToken)
{
while (!cancellationToken.IsCancellationRequested)
{
foreach (var display in _screenSnapshotProvider.GetDisplays())
{
var stopwatch = Stopwatch.StartNew();
await CaptureAndAnalyzeDisplayAsync(display, cancellationToken);
// 保证两次截图间隔至少10秒
var remainingDelay = MinimumCaptureInterval - stopwatch.Elapsed;
if (remainingDelay > TimeSpan.Zero)
{
await Task.Delay(remainingDelay, cancellationToken);
}
}
}
}
如果有多块屏幕,会依次处理每块屏幕的截图和解读,处理完所有屏幕后再等待剩余的间隔时间,避免截图频率过高。
3. 存储自动清理逻辑
所有截图默认存到 %LocalAppData%\SnapkeboyearheNarjairfiru\Snapshots 目录下,截图存 PNG 格式,解读结果存 XML 格式,当目录总大小超过 1G 时,会自动删除最旧的截图文件,但保留 XML 解读记录,既不占用过多磁盘空间,也能保留所有历史解读内容,核心清理代码如下:
private async Task<StorageCleanupResult> CleanupStorageIfNeededAsync(CancellationToken cancellationToken)
{
return await Task.Run(() =>
{
var directoryInfo = new DirectoryInfo(StorageFolderPath);
var totalSize = directoryInfo.EnumerateFiles().Sum(file => file.Length);
if (totalSize <= 1024L * 1024 * 1024) // 1G存储上限
{
return StorageCleanupResult.Empty;
}
// 按创建时间升序,优先删除最旧的截图
var filesToDelete = directoryInfo.EnumerateFiles()
.Where(file => SnapshotImageExtensions.Contains(file.Extension))
.OrderBy(file => file.CreationTimeUtc)
.ToList();
long releasedBytes = 0;
int deletedCount = 0;
foreach (var file in filesToDelete)
{
if (totalSize <= 1024L * 1024 * 1024) break;
var length = file.Length;
file.Delete();
totalSize -= length;
releasedBytes += length;
deletedCount++;
}
return new StorageCleanupResult(deletedCount, releasedBytes);
}, cancellationToken);
}
4. 界面实现
界面采用 WPF 开发,使用虚拟化 ListView 展示历史记录,默认最多显示 100 条最近记录,也可以手动加载更多历史,支持暂停/恢复截图、打开存储目录等功能,每个条目显示截图缩略图、截图时间、解读内容、文件路径,如果截图已经被清理,会显示「截图已清理,仅保留 XML 解读」的提示。
使用注意事项
- 首先需要安装 Ollama,官网地址:https://ollama.com/,安装完成后执行
ollama pull qwen3-vl:8b拉取千问3多模态模型,如果你的显存小于 8G,可以拉取qwen3-vl:4b版本,占用显存更小,仅性能略降。 - 代码中的
OllamaEndpoint需要改成你自己的 Ollama 服务地址,本地部署默认是http://localhost:11434,如果部署在局域网其他设备上也可以填写对应的局域网地址,依然完全内网运行不会泄露数据。 - 截图间隔可以自行修改
MinimumCaptureInterval常量,默认 10 秒,觉得太频繁可以改成 30 秒或者 1 分钟,进一步降低资源占用。 - 存储上限可以自行修改
StorageLimitBytes常量,默认 1G,不够用可以改成更大的值。
我自己使用了半天,全程后台运行几乎感知不到性能影响,下班之后(不存在)翻一遍历史记录就能清晰看到一天的时间分配,非常方便,且全程离线完全不用担心隐私泄露问题。还可以在此基础上扩展统计功能,比如自动统计每天花在每个应用上的时长、生成周日报等。
代码
本文以上代码放在 github 和 gitee 上,可以使用如下命令行拉取代码。我整个代码仓库比较庞大,使用以下命令行可以进行部分拉取,拉取速度比较快
先创建一个空文件夹,接着使用命令行 cd 命令进入此空文件夹,在命令行里面输入以下代码,即可获取到本文的代码
git init
git remote add origin https://gitee.com/lindexi/lindexi_gd.git
git pull origin f71fb96117919accc639260f122c819cfbc2890e
以上使用的是国内的 gitee 的源,如果 gitee 不能访问,请替换为 github 的源。请在命令行继续输入以下代码,将 gitee 源换成 github 源进行拉取代码。如果依然拉取不到代码,可以发邮件向我要代码
git remote remove origin
git remote add origin https://github.com/lindexi/lindexi_gd.git
git pull origin f71fb96117919accc639260f122c819cfbc2890e
获取代码之后,进入 SemanticKernelSamples/SnapkeboyearheNarjairfiru 文件夹,即可获取到源代码
本文会经常更新,请阅读原文: https://blog.lindexi.com/post/WPF-%E7%BB%93%E5%90%88%E6%9C%AC%E5%9C%B0-Ollama-%E5%8D%83%E9%97%AE%E5%A4%9A%E6%A8%A1%E6%80%81%E5%AE%9E%E7%8E%B0%E7%A6%BB%E7%BA%BF%E5%B1%8F%E5%B9%95%E4%BD%BF%E7%94%A8%E8%AE%B0%E5%BD%95%E5%B7%A5%E5%85%B7.html ,以避免陈旧错误知识的误导,同时有更好的阅读体验。
如果你想持续阅读我的最新博客,请点击 RSS 订阅,推荐使用RSS Stalker订阅博客,或者收藏我的博客导航
本作品采用
知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议
进行许可。欢迎转载、使用、重新发布,但务必保留文章署名林德熙(包含链接:
https://blog.lindexi.com
),不得用于商业目的,基于本文修改后的作品务必以相同的许可发布。如有任何疑问,请
与我联系
。
无盈利,不卖课,做纯粹的技术博客
以下是广告时间
推荐关注 Edi.Wang 的公众号
欢迎进入 Eleven 老师组建的 .NET 社区
以上广告全是友情推广,无盈利