助力大模型一键调用！ 打通数百万个API 微软亚研院最新研究

近年来，人工智特别是诸如ChatGPT等基础模型在对话、上下文理解和代码生成等方面展现出卓越性能，为多种任务提供解决方案。在特定领域任务中，由于专业数据的不足和潜在的计算错误，这些模型的表现并不尽如人意。尽管已经有一些专门针对特定任务的人工智能模型和系统表现出色，但它们往往难以与基础大模型集成。为了解决这些重要问题，微软设计并发布了一种新型人工智能生态系统——TaskMatrix.AI。最近，该系统的核心技术在《科学》合作期刊Intelligent Computing上发表了题为《TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs》的本文。本文的作者是微软亚洲研究院的段楠博士团队。TaskMatrix.AI通过连接基础大模型和数以百万计的应用程序编程接口（APIs）来完成任务。该系统的核心思想是利用现有的基础大模型作为中央系统，类似大脑，结合其他人工智能模型和系统的APIs作为解决各种子任务的工具，从而完成数字和物理领域的多样化任务。

TaskMatrix.AI的整体架构由四个关键组件构成，包括MCFM、API平台、API选择器和API执行器。这些组件共同协作，构建了一个高效的系统。MCFM作为用户交互的主要接口，负责生成解决方案。API平台提供了标准化的API文档格式，并扮演着存储数百万API的集中库的角色。API选择器根据MCFM对用户需求的理解，从API平台中选取适合的API。最后，API执行器负责执行所选API生成的代码，并解决任务。TaskMatrix.AI还提供了两种可学习的机制，以更有效地将MCFM与API对齐。

因此，TaskMatrix.AI可以被视为一个人工智能系统，也是一个生态系统，具有多个关键优势。它能够解决基础大模型难以应对的特定领域任务问题，同时又保持了与专门AI模型集成的灵活性和实用性。

TaskMatrix.AI具备广泛的任务完成能力，涵盖了从文字、图像信息的基本处理到控制机器人平台、接入物联网等通用平台任务。例如，在图像处理领域，TaskMatrix.AI可以执行各种图像处理任务，接受语言和图像作为输入。其相关版本VisualChatGPT可以处理复杂视觉任务，包括图像生成、问题回答和编辑。TaskMatrix.AI还能够进行办公自动化，通过语音指令理解和执行计算机操作系统、专业软件和智能手机应用的任务。它还能够连接机器人和物联网设，实现对机器人和物联网设备的智能控制。