2024 上半年的一些微软大型活动

3. Build 2024

官方新闻稿

不断迈进：Microsoft Build持续为开发者带来AI工具的升级与扩展

Frank X. Shaw，微软全球首席传播官

人工智能的突破性进展正深入影响着微软，以及那些通过微软技术提高效率、提升客户体验并实现新突破的开发者们。

过去一年，微软构建了Microsoft Copilot智能副驾驶®，并发布了 150 多项更新。我们还开发了Copilot智能副驾驶®的堆栈，将微软迄今为止所学全部融入其中，让开发者能够构建属于自己的“智能副驾驶”。

此外，在过去两年中，GitHub Copilot 智能副驾驶®已成为应用最广泛的AI开发者工具，拥有 180 万付费用户。

就在一天前，我们推出了一个全新的类别：Windows 11 AI PC，这是有史以来更快、最适用于 AI 体验的 PC。

微软已成为AI的行业领导者。正因如此，当开启这场开发者“盛宴”之时，所有人不禁提出了同一个问题：下一步该如何？

本周一，我们向世界介绍了一个全新的 Windows PC：Windows 11 AI PC。这些设备旨在让开发者能够在边缘设备上提供差异化的 AI 体验，再加上我们在 Build 开发者大会上宣布的强大功能，使 Windows 成为更具开放性的 AI 平台和开发者开发平台。

在今年的Build开发者大会上，我们还将为这场技术变革带来更多的延展，包括：

• Microsoft Fabric 如何帮助开发者和客户利用不断变动的数据，或计算机内部或之间传输的数字信息来构建智能应用程序。
• 新的前沿模型（frontier models），允许开发者在其AI应用中探索支持文本、图像、视频和其他类型数据的多模态功能，超越了文本提示和文本补全的功能。
• 构建合作伙伴关系，展现AI如何影响包括教育在内的众多行业的未来。
• 构建在安全、负责任AI基础上的开放灵活云平台如何帮助开发者创新。

对我们来说，Microsoft Build全球开发者大会一直是激动人心的。约有二十万人注册参与这场为期三天的技术学习和社区交流活动，其中四千人将亲临西雅图活动现场。微软携手合作伙伴，将为与会者带来 300 多场会议、演示，以及专家和讲师指导实验室。大部分内容也可以通过点播获取，以照顾无法现场参与的与会者们。在本次大会上，我们将发布约 60 种新产品和解决方案。

接下来，请让我来逐个介绍这些新发布。

利用实时智能（Real-Time Intelligence）进行即时决策

要想获得最高效的AI应用程序，企业必须能够在采集数据时对其进行鉴定、分析和组织。事实证明，迈出这一步并不容易。Microsoft Fabric 中全新的实时智能（Real-Time Intelligence）提供了端到端的软件即服务（SaaS）解决方案，让客户能够对海量的、时间敏感的高颗粒度数据采取行动，更快、更明智地制定业务决策。

实时智能（Real-Time Intelligence）现已开启预览，不仅帮助数据分析人员获得简单的低代码/无代码体验，也通过代码丰富的用户界面让专业开发者受益。例如，Dener Motorsport车队一直在使用 Microsoft Fabric 支持实时分析、存储和报告，从而保证最佳性能，并使赛车保持良好的维修状态，让驾驶员更安全。该车队计划将实时智能（Real-Time Intelligence）作为其制胜战略的一部分，以便在比赛期间获取洞察。

对于开发者而言，构建应用程序需要一定程度的灵活性、定制化和效率，以保证开发工作切实可行。新的 Microsoft Fabric 工作负载开发套件（Workload Development Kit）做到了这一点：让独立软件供应商（ISV）和开发者能够在 Fabric 中扩展应用程序，打造统一的用户体验。

GitHub Copilot 智能副驾驶®带来扩展功能体验

GitHub 推出首套由微软和第三方合作伙伴开发的GitHub Copilot 智能副驾驶®扩展，现已开启受邀预览。新增功能允许开发者、企业通过其偏好的服务（如 Azure、Docker、Sentry 等）直接在 GitHub Copilot 智能副驾驶®Chat 中定制其GitHub Copilot 智能副驾驶®体验。

作为微软推出的扩展功能之一，GitHub Copilot 智能副驾驶®for Azure展示了如何利用自然语言和更广泛的功能来提高开发速度。通过 Copilot 智能副驾驶®Chat 使用该扩展，开发者可以探索和管理 Azure 资源，同时排除故障、查找相关日志和代码。

Azure AI带来新的前沿模型和多模态功能

作为OpenAI最新发布的旗舰模型，GPT-4o现可在Azure AI Studio中使用，也可作为API使用。这一开创性的多模态模型集成了文本、图像和音频处理，为生成式和对话式AI体验设定了新标准。

微软开发的AI小语言模型（SLMs）Phi-3 系列也发布了一款新的多模态模型——Phi-3-vision，并已可在 Azure 中使用。Phi-3 模型功能强大、经济实惠，并针对个人设备进行了优化。Phi-3-vision 能够输入图像和文本，并接收文本回复。例如，用户可以就图表提出问题，或就特定图像提出开放式问题。

开发者可在 Azure AI Playground 中体验这些最先进的前沿模型，并能在 Azure AI Studio 中开始构建和定制模型。

作为以创新智能手机和智能设备享誉全球的全球科技品牌，OPPO 正在将Azure AI 语音转文本（speech-to-text）、快速转录（Fast Transcription）和 Azure AI 文本转语音（text-to-speech）技术在其新款智能手机上试点，以期为客户带来全新体验。

微软携手可汗学院，以AI赋能教育者

微软和可汗学院（Khan Academy）宣布达成多元合作伙伴关系，旨在将AI的变革潜力转化为现实。

合作伊始，微软将协助可汗学院为美国所有K-12教育者免费提供Khanmigo for Teachers。这款由AI驱动的教育助手能够释放教师时间，让他们专注于最重要的事情——与学生互动并提供支持。微软还将捐赠Azure AI优化的基础架构权限，提升Khanmigo for Teachers的可用性。该服务将由Azure OpenAI Service提供支持。

可汗学院还将与微软携手，借助微软开发的小型语言模型（SLM）系列Phi-3最新版，探索以经济实惠、可扩展、适应性强的方式改进数学辅导。他们还计划将更多可汗学院的教学内容引入智能副驾驶®（Copilot）和Microsoft Teams教育版，为学习者提供更多资源。

与Cognition AI达成新合作伙伴关系

微软将与Cognition携手 ，把 Cognition 的自主AI软件代理 Devin 带给客户，帮助他们完成代码迁移和现代化项目等复杂任务。作为双方协议的一部分，Devin 将由微软智能云Azure 提供支持。Cognition AI 是一家应用型人工智能实验室，致力于开发端到端软件代理，帮助开发者取得更多成就。

功能强大的全新虚拟机推动AI应用

微软拥有一套独特的AI基础架构系统方法，当中包含了微软及其合作伙伴提供的硬件和软件，且全部经过优化，可大规模运行AI 负载，并根据客户需求进行微调。微软是首家将AMD领先的MI300X AI加速器芯片用于客户AI训练和AI推理的云服务提供商。Azure ND MI300X v5虚拟机系列已正式发布，针对高需求AI，以及诸如Azure OpenAI Service的高性能计算（HPC）工作负载进行了优化。

继推出首款自研计算处理器Azure Cobalt 100之后，微软宣布，基于去年11月发布的定制硅芯片推出全新的Cobalt 100 Arm-based虚拟机（VMs）预览版。Cobalt 100 Arm-based 虚拟机是第一代采用微软新Cobalt处理器的虚拟机，基于Arm架构定制，对运行通用工作负载和云原生工作负载时的效率和性能进行了优化。与同类型Azure 虚拟机相比，Cobalt 100 Arm-based 虚拟机的性能提升可达40%。

智能副驾驶®（Copilot）不断升级

今年五月初，微软发布了最新的年度《工作趋势指数报告（WTI）》，揭示了AI如何在短短一年的时间里影响着世界各地的人们工作、管理和招聘方式：75%的受访者已经将AI用于工作，其中近半数是在最近6个月开始尝试AI办公——这意味着在不到半年的时间里，AI办公的普及率就几乎翻了一番。企业管理者也将求职者的AI技能作为招聘的考量之一：71% 的受访者表示，在经验丰富但缺乏AI技能，和经验略有欠缺但AI技能扎实的候选人之间，他们更倾向于选择后者。而单看中国市场，这两项数据则更为突出：91%的受访者将AI用于日常工作，且有82%的企业管理者表示，更看中求职者的AI技能。

自发布以来，智能副驾驶®（Copilot）已经为很多人带来了巨大改变。借助现代AI和Open AI GPT-4等大型语言模型（LLM），微软系列产品中的Copilot智能副驾驶®能够充当幕后的个人AI助手，帮助人们完成复杂任务。

今天，微软正式推出Team Copilot智能副驾驶®，将Copilot智能副驾驶® for Microsoft 365从幕后的个人AI助手，扩展为团队新的重要成员。您将能够在 Teams、Loop、Planner 等协作工具中调用智能副驾驶®（Copilot）。Team Copilot智能副驾驶®能够在会议中担任会议主持人，管理会议议程、跟踪会议时间并记录会议要点；也可以在聊天中作为协作者，提供重要信息、跟踪行动项目并解决未决问题。它还可以担任项目经理，帮助确保每个项目顺利推进，并及时通知团队进行输入。这些初始体验将在今年晚些时候推出预览版。而随着新的创新阶段的到来，Copilot智能副驾驶®也将开始协助个人和团队采取更多行动，这些初始体验也将助力我们持续学习、迭代和完善。

Microsoft Copilot Studio 推出全新的Agent代理功能，让开发者能够根据特定任务和功能，构建主动响应数据和事件的“智能副驾驶”。基于这类新功能的“智能副驾驶”可通过记忆和知识了解上下文、推理操作和输入，基于用户反馈进行学习，并在不知道如何处理时寻求帮助，从而独立管理复杂、长期运行的业务流程。现在，从 IT 设备采购到销售和服务的客户接待，用户都可以让基于Microsoft Copilot Studio构建的智能副驾驶®为其工作。

包括插件和连接器在内的Copilot 智能副驾驶®扩展，允许客户通过将其连接到新的数据源和应用程序来增强 Microsoft Copilot智能副驾驶®，从而扩展其功能。

*所有发布内容均与微软全球产品和服务相关，各个国家或地区客户的产品可用性取决于当地情况。

ThinkBou 去年的Build 2023，我对Windows在AI上带来的变化感到很激动，虽然最后最重要的Windows Copilot还是没了下文，但是一些努力持续到了今年。

• 自从Build 2022开始，微软就在推进将NPU引入PC。NPU的AI运算性能比CPU更好，能耗比GPU更低，非常适合在移动设备中进行AI运算。来自W+D的微软科学家Stevie Bathiche表示，就像GPU和图形技术在90年代点燃了计算机辅助设计一样，NPU和AI正在推动当今计算机辅助推理的时代。在不久的将来，计算机的速度将通过其神经处理器的能力来衡量。为此，微软推广了ONNX Runtime，以帮助开发者更好地在Windows上调用AI模型以进行AI运算。
• Build 2023上，微软宣布推出Windows AI Library，包含一系列精选的即用型机器学习模型和API，这些模型和API将帮助开发者快速启动AI开发。

以上的这些努力，在现在全部整合为Windows Copilot Runtime。微软在Build 2024上宣布，Windows Copilot Runtime将Microsoft Copilot Stack扩展到Windows。开发人员可以通过多种方式利用 Windows Copilot 运行时，从可通过简单设置切换访问的更高级别的 API，一直到引入自己的机器学习模型。这代表了端到端的 Windows 生态系统：

1. 由微软和开发人员在Windows Shell、Win32应用和Web应用中创建的应用程序和体验。
2. Windows Copilot Library是由Windows附带的40+设备端模型提供支持的一组 API 。这包括支持Windows体验并可供开发人员利用的API和算法。
3. DirectML、ONNX Runtime、PyTorch、WebNN等AI框架以及Olive、AI Toolkit for Visual Studio Code等工具链，可帮助开发人员引入自己的模型，并在 Windows 硬件生态系统的广度上扩展其AI应用。
4. Windows Copilot Runtime建立在强大的客户端芯片（包括GPU和NPU）的基础上。

可能眼尖的朋友已经注意到了，Windows Copilot Library十分熟悉。是的，这个就是一直未公布的Windows AI Library的最新版本。Windows Copilot Library具有一组API，这些API由40+设备上的 AI模型和最先进的算法（如DiskANN）提供支持，并内置于Windows中。 Windows Copilot Library由现成的AI API组成，如Studio Effects、实时字幕翻译、OCR、Recall with User Activity和Phi Silica，这些 API 将于 6 月提供给开发人员。矢量嵌入、检索增强生成 （RAG）、文本摘要以及其他 API稍后将出现在Windows Copilot Library中。 开发人员将能够在Windows App SDK中访问这些 API。
总之，对于Windows来讲，发展AI是十分确定的。W+D团队还是十分具有前瞻性的。一些基础工作在2年前就做了铺垫，在今天终于开花，为开发人员带来更加方便的AI开发体验。总归来讲，是务实的。

不过我还是希望能够看到Windows继续推进一些基础性的UX改进。Windows 11做了一些改善，但是还不够，我非常希望在Ignite 2022上看到的那个Windows UX概念图能够最终落地，以改善二合一设备的交互体验。

其它Build 2024中其它和Windows相关的内容：Unlock a new era of innovation with Windows Copilot Runtime and Copilot+ PCs

Stakarilky Panos 到底是怎么出局的？

小圈子拉帮结派搞办公室斗争，微软的公司文化就是这样的，牛人也被气走了
panos来亚马逊后精神状态好多了

SteveWorkshop 实际上2018年重组以后，微软内斗已经少多了……

熊猫火狗 这张图都多少年的老黄历了

Stakarilky 因为对Surface业务的重置。