Anthropic于 2024 年 11 月发布了模型上下文协议 (MCP) 。它由 Anthropic 的 Mahesh Murag 开发。在这里可以查看完整的官方文档。目前，MCP 已完全实现为Python SDK和TypeScript SDK。 上下文是关键 生成式 AI 模型的基本能力取决于其预训练细节、训练数据和模型架构。为了使这些预训练模型表现更佳，并提高其与任务的相关性和一致性，您必须为其提供良好的环境。 这里的上下文是指模型用来生成相关且连贯的响应的信息。上下文决定了模型如何理解和继续对话、完成文本…

OpenVINO™2025.2正式发布！此更新带来了扩展的模型覆盖范围，GPU优化和Gen AI增强功能，旨在最大限度地提高AI部署的效率和性能，无论是在边缘，云端还是本地。 2025.2版本的新功能： 更多的Gen AI覆盖和框架集成，以最小化代码更改。 更广泛的LLM模型支持和更多的模型压缩技术 在边缘、云端或本地运行AI的可移植性和性能更高。 下载链接：Intel OpenVINO 2025.2 浏览量: 57

Qwen3 是阿里巴巴统一团队发布的最新文本生成模型系列，它提供了一套全面的密集模型和混合专家 (MoE) 模型。Qwen3 基于海量数据集进行训练，提升了推理能力、指令执行能力、代理能力和多语言性能。 本博客以Qwen3–8B为例，介绍如何使用 OpenVINO™ 工具包和 Python API 在英特尔® 平台（GPU、NPU）上部署 Qwen3 系列大模型。 OpenVINO™ 工具包使开发人员能够快速构建基于 LLM 的应用程序，利用英特尔 AIPC 异构计算能力进行高效推理。 目录 1.环境准备 2.模型…

介绍 许多桌面应用程序都是使用 C++ 开发的，由于使用基于 Python 的库（例如 Hugging Face）的复杂性，将 GenAI 功能集成到这些应用程序中可能颇具挑战性。使用 OpenVINO Runtime 的 C++ 提供了更精简、轻量且内存高效的解决方案，尤其是在 Windows 环境中。 OpenVINO GenAI API 提供原生 C++ 接口，无需 Python 依赖项，让开发者能够以更节省资源的方式创建 AI 应用程序。以下是以 Windows 操作系统为例，使用 C++ 构建 OpenV…

本文提供从头开始构建 Llama 3 模型的完整架构并对自定义数据集执行训练和推理的分步指南。 读完这篇文章后您将获得什么成果？ 先决条件 现在我们知道了我们想要实现的目标，让我们开始一步一步构建一切。 步骤 1：输入块 如上图的 Llama 3 架构图所示，输入块有 3 个组件：文本/提示、标记器和嵌入。 输入块内的组件如何工作？有一句流行的说法“一图胜千言”，让我们查看下面的流程图来了解输入块内的工作流程。 让我们对输入块进行编码： 步骤 2：解码器块 如果您查看上面的架构图，解码器块由以下子组件组成。 让我们…

如今，移动机器人凭借在效率、场景适应性、经济性等方面的优势，已日趋广泛地应用于工业巡检、安防巡逻、园区服务等诸多场景中，并展现出了巨大的发展潜力。 据新战略移动机器人产业研究所统计，2023年中国移动机器人（AGV/AMR）销售量达 125000台，同比增长34.41%1。其中，自主移动机器人（AMR）实现了尤为显著的增长，2023年销售台数约49000台，同比增长60.13%2。 而在实际应用场景中，要想加速移动机器人的场景化落地，满足用户对移动机器人日渐增长的需求，机器人产品与方案提供商需要在算力、稳定性、经济…

作者：王一凡，英特尔边缘计算创新大使 1.1 Phi-3-mini模型简介 2024年4月23日，微软研究院公布Phi-3系列AI大模型，包含三个版本：mini(3.8B参数)、**all(7B参数)以及medium(14B参数)。phi-3-mini是一个拥有3.8B参数规模的模型，其训练数据集基于Phi-2所使用数据集的扩大版本，由大量过滤后的网络数据和合成数据组成，经过3.3T tokens的训练，表现可以与Mixtral 8x7B和GPT-3.5等模型相媲美（例如，phi-3-mini在MMLU测…

1. 简介 Hugging Face是一个大型开源社区，它迅速成为自然语言处理 (NLP)、自动语音识别 (ASR) 和计算机视觉 (CV) 领域的预训练深度学习模型的诱人中心。 Optimum Intel提供了一个简单的界面来优化 Transformer 模型并将其转换为OpenVINO™中间表示 (IR) 格式，以使用 OpenVINO™ 运行时加速英特尔® 架构上的端到端管道。 情感分类（sentimental classification）是流行的 NLP 任务之一，是识别文本中的观点并将其标记为正面或负面…

实时物体检测旨在以低延迟准确预测图像中的物体类别和位置。YOLO 系列凭借其在性能和效率之间的平衡而处于该研究的前沿。然而，对 NMS 的依赖和架构效率低下阻碍了最佳性能。YOLOv10 通过引入一致的双重分配以实现无 NMS 训练和整体效率-准确度驱动的模型设计策略来解决这些问题。 YOLOv10 由清华大学的研究人员基于Ultralytics Python 软件包开发，引入了一种实时物体检测的新方法，解决了之前 YOLO 版本中存在的后处理和模型架构缺陷。通过消除非最大抑制 (NMS) 并优化各种模型组件，YO…

OpenVINO 2024.2 新功能 更多 Gen AI 覆盖和框架集成，以最大限度地减少代码更改。 更广泛的大型语言模型 (LLM) 支持和更多的模型压缩技术。 更高的可移植性和性能，可以在边缘、云端或本地运行 AI。 OpenVINO™ Runtime Common AUTO 推理模式 CPU 设备插件 GPU 设备插件 NPU 设备插件 OpenVINO Python API OpenVINO C API OpenVINO Node.js API TensorFlow 框架支持 TensorFlow Lit…