面壁智能与清华共同发布大模型智能体GitAgent，以应对复杂任务需求

近日消息，面壁智能携手清华大学自然语言处理实验室共同推出了一项创新研究成果——GitAgent。这是一款具有开创性意义的大模型智能体应用框架，其独特之处在于能够实现自主扩展工具箱功能。

在GitAgent的驱动下，大模型智能体具备了从全球知名开源社区GitHub上自主搜索、学习并集成各类工具集合的能力，从而得以针对各种复杂多变的任务需求迅速进行适应和优化。此举不仅极大地拓宽了大模型智能体的应用领域与解决实际问题的能力，也预示着人工智能技术在自我进化和持续学习方面取得了新的突破。

GitAgent 的工具箱扩充过程包括搜索、配置、应用和存储四个阶段。在搜索阶段，GitAgent 会在 GitHub 上搜索适合用户需求的仓库，并判断仓库是否能用来解决问题。在配置阶段，GitAgent 会根据仓库的 README 文件执行配置命令，还可以通过学习人类经验来解决问题。

在应用阶段，GitAgent 使用配置好的仓库来解决用户需求，如果仓库没有清晰的使用入口，GitAgent 还可以通过学习人类经验来解决问题。在存储阶段，GitAgent 将配置好的仓库及其执行环境存储下来，以便未来使用。

研究团队通过案例展示了 GitAgent 的应用，包括 Qlib 搜索、Bringing-Old-Photos-Back-to-Life 配置和 Sniffles 应用。通过 GitAgent，可以灵活选择不同的搜索策略，并能够熟练处理配置和应用阶段中的各种问题。

GitAgent 的发布拓展了大模型智能体的能力边界，使其可以自主扩展工具箱，从而更好地应对复杂任务需求。这一研究成果有望推动大模型智能体技术的发展，帮助人类实现更加多样更加复杂的任务需求。

面壁MiniCPM-V 2.6开源挑战端侧AI极限：多模态实力比肩GPT-4V新标

近日消息，"MiniCPM-V2.6"端侧多模态人工智能模型，在技术领域内引起了轰动。这款模型以仅仅8B的参数量，实现了在单图、多图及视频理解三项任务上达到SOTA水平的壮举，超越了以往20B参数以下模型的表现。

它的出现，大幅增强了终端设备的AI多模态处理能力，直接对标业界顶尖的GPT-4V模型，预示着端侧AI技术的一次重大飞跃，为用户带来了前所未有的智能体验和效率提升。

以下是特性概括：

模型特点：MiniCPM-V2.6在端侧实现了单图、多图和视频理解等核心能力的全面超越，并首次将实时视频理解、多图联合理解等功能带到端侧，更接近复杂的真实世界场景。

效率与性能：该模型以小博大，具有极高的像素密度（Token Density），比GPT-4o的单token编码像素密度高两倍，在端侧设备上实现了极高的运行效率。

端侧友好性：模型在量化后仅需6GB内存，端侧推理速度高达每秒18个token，比上代模型快33%，并支持多种语言和推理框架。

功能拓展：MiniCPM-V2.6通过OCR能力，将单图场景的高清图像解析能力迁移到多图和视频场景，减少了视觉token的数量，节省了资源。

推理能力：它在多图理解、复杂推理任务中展现出色能力，如调整自行车车座的步骤说明，以及对梗图背后槽点的识别。

多图ICL：模型支持上下文少样本学习，能快速适应特定领域的任务，提高输出稳定性。

高清视觉架构：通过统一的视觉架构，模型的OCR能力得以延续，实现从单图到多图及视频的流畅拓展。

超低幻觉率：MiniCPM-V2.6在幻觉评测上表现优异，展示了其可信度。

MiniCPM-V2.6模型的推出，对端侧AI的发展具有重要意义，它不仅提升了多模态处理能力，也展示了在资源受限的端侧设备上实现高性能AI的可能性。

面壁智能MiniCPM-o 2.6全模态模型发布，性能卓越堪称端侧GPT-4o

近日消息，面壁智能推出了其最新端侧全模态模型MiniCPM-o 2.6，该模型以其8B的参数规模在多模态能力上与GPT-4o等业界领先模型相媲美，被称为“端侧GPT-4o”。

其采用了端到端多模态架构，可同时处理文本、图像、音频和视频等多种类型的数据，生成高质量文本和语音输出。官方表示，其总参数量 8B，视觉、语音和多模态流式能力达到了 GPT-4o-202405 级别，是开源社区中模态支持最丰富、性能最佳的模型之一。

MiniCPM-o 2.6 支持可配置声音的中英双语语音对话，还具备情感 / 语速 / 风格控制、端到端声音克隆、角色扮演等进阶能力。