另类图片 Claude 3.5夜深醒觉：编程干翻o1 Agent整宿变天
另类图片
Claude 3.5夜深迎来重磅升级！
确凿如斯，Anthropic AI这周终于有了大手脚——首发Claude 3.5 Haiku，全新升级版Claude 3.5 Sonnet也来了。
不外，「超大杯」Opus依然莫得亮相。
让东说念主惊艳的是，进化后的Claude 3.5 Sonnet一举击溃OpenAI o1，号称最强推理模子。
它在各个方面得到了全面显赫的提高，尤其是业界当先的编码才智。
而Claude 3.5 Haiku与上一代最强Claude 3 Opus性能至极，老本、速率与上一代Haiku掌握。
以至，Claude面前约略像东说念主类一样操作诡计机，不仅可以稽查屏幕、移动光标，还可以单机按钮、键入文本！
Anthropic开发者磋商驾驭走漏，「诡计机使用」是全新东说念主机交互范式的第一步。同期亦然，AI模子应该具备的全新基础才智。
好多作念浏览器智能体的初创公司，整宿之间过期了。
网友们纷繁惊叹：Agent和职责流齐要变天了……
会我方用电脑的AI来了？
在公测中，Anthropic引入一项防止性的新功能：诡计机使用才智。从今天起，开发者可以通过API，领导Claude像东说念主类一样使用诡计机了。
Claude 3.5 Sonnet是首个在公测中提供此功能的模子。
天然，这项功能仍处于实验阶段，使用起来还有些愚顽，可能出错。而Anthropic收受提前发布此功能，亦然为了获取开发者反馈，将之快速改造。
为什么要检修AI操作电脑？
Anthropic走漏，在以前几年里，纷乱的AI开发仍是达到了好多里程碑，比如践诺复杂逻辑推理，以及识别和剖析图像的才智。
而下一个防止点，等于AI操作电脑了！若是模子无用通过畸形定制的器具进行交互，而是按引导就能使用所有软件，这一定代表着来日的标的。
基本电脑操作
在这个demo中，Anthropic有计划员给Claude提议了一个极有难度的挑战：
我的一又友要来旧金山，我思翌日早上和他一说念在金门大桥看日出。咱们将从太平洋高地启程。你能帮咱们找到一个绝佳的不雅赏地点，稽查一下开车时辰和日出时辰，然后安排一个日期行动，让咱们有饱和的时辰到达何处吗？
Claude自行翻开了Google，脱手了搜索。
金门大桥和用户居住地有多远呢？Claude会我方翻开舆图查找距离。
了解所需信息之后，它翻开了日期，为主东说念主安排好了日程。
自动编码写网站
开发者展示出Claude怎么操控了我方的条记本电脑，丝滑地完成了一个网站编程任务。
启程点，Claude在小哥的Chrome浏览器中导航到了Claude.ai，况且让Claude为我方创造了一个90年代主题的个东说念主主页。
只见它我方输入彀址，键入辅导，向另一个Claude发出恳求。
Claude.ai复返了一些代码，渲染出来的画面看起来很可以，但小哥但愿在我方的电脑土产货上对网站作念一些修改。
于是他让Claude下载文献，然后在VS Code中将其翻开。Claude收效完成了这些指示。
然后小哥让Claude启动了一个管事器，然后就可以在浏览器中试验稽查这个文献了。
Claude翻开了VS Code末端，尝试启动一个管事器，然后却遭遇了演叨：机子上并莫得安设Python。
成果，通过稽查末端输出，Claude我方发现了这个问题！它用Python 3再次尝试，收效运行起了管事器。
不外，末端输出中有个演叨，顶部还枯竭了一个文献图标。开发者小哥请Claude来识别这个演叨，在文献中竖立它。
令东说念主惊喜的是，Claude在VS Code中找到了激励演叨的行，删除了整行，然后保存文献、再走时行网站。
此次，网站实足正确！
自动寻找数据填表
假定咱们需要填写一份来自「蚂蚁开拓公司」的供应商恳求表，但需要填写的数据辨认在电脑的各个边缘，Claude能帮咱们完成吗？
只见它脱手截取小哥的屏幕截图，况且很快发现：蚂蚁开拓公司并不在表格中。
这时，它坐窝切换到CRM系统中，去搜索这个公司。找到后，它脱手滚动页面，查找填表所需的所有信息，然后提交了表格。
这也就意味着，咱们职责中好多不得不作念的繁琐事项，齐可以交由Claude代劳了！
面前，这个功能仍是在API中可用了。
面前，Asana、Canva、Cognition、DoorDash、Replit和The Browser Company等多家闻明公司，仍是在探索Claude的新潜能，让它们践诺数十步以至数百步的复杂任务了。
比如，Replit正在诈欺Claude 3.5 Sonnet的诡计机使用和用户界面导航才智，为Replit Agent开发功能，在构建应用要领过程中对其及时评估。
远低于东说念主类，但来日可期
新升级后的Claude 3.5 Sonnet，电脑使用才智究竟怎么？
在 OSWorld测试中，它在仅基于屏幕截图的任务类别中得分为14.9%，显著特出了名步骤二的AI系统（7.8%）。
当允许更多操作技艺来完成任务时，Claude得分提高到了22.0%。
这标明模子与环境的屡次交互，约略优化任务性能。
天然这一成果比之前有了大幅提高，但仍然远低于东说念主类72.36%的发扬。
这也示意了，Claude 3.5 Sonnet来日还有很大的改造空间。
毕竟，东说念主类绝不难过完成的一些操作（滚动、拖动、缩放），面前关于Claude来说极具挑战。
升级版Claude 3.5 Sonnet，编码王者干翻o1
在各项行业基准测试中，升级版Claude 3.5 Sonnet性能得到了全场地提高。
至极是，智能体编码、器具使用任务中取得显赫防止。
论文地址：https://assets.anthropic.com/m/1cd9d098ac3e6467/original/Claude-3-Model-Card-October-Addendum.pdf
在编码才智方面，它在SWE-bench Verified测试中，性能从33.4%大幅提高至49.0%。
这特出了所有公开可用的模子——包括OpenAI o1-preview等推理模子和专为智能体编码遐想的畸形系统。
此外，在TAU-bench（一项评估智能体器具使用才智的基准测试）中，Claude 3.5 Sonnet也发扬出色：
在零卖领域的得分从62.6%提高到69.2%，在更具挑战性的航空领域则从36.0%跃升至46.0%。
从下表中，可以看出推理测试基准GPQA（Diamond）上，新版Claude 3.5 Sonnet大幅特出GPT-4o。
在视觉QA、数学推理、文档视觉问答、图表问答、科学表格基准测试中，Claude 3.5 Sonnet性能成为业界新标杆。
值得一提的是，新版Claude 3.5 Sonnet性能防止同期，仍保握了与前代模子调换的价钱和运行速率。
一些早期测试用户的反馈，进一步印证了升级后Claude 3.5 Sonnet，在AI驱动编码领域杀青「质」的飞跃。
GitLab：在DevSecOps任务测试中，发现Claude 3.5 Sonnet在不加多延长的前提下，推理才智显赫提高（各用例最高提高10%），使其成为驱动复杂软件开发经由的理思收受
Cognition：将新版Claude 3.5 Sonnet应用于自主AI评估，在编码、筹商和问题惩办等方面，相较前代模子均取得了试验性跳跃
鬼父在线观看The Browser Company：在使用该模子自动化积存职责经由时发现，Claude 3.5 Sonnet的发扬特出了他们此前测试过的所有模子
此外，在安全部署前，Claude 3.5 Sonnet仍是在好意思国AI安全有计划所（US AISI）和英国安全有计划所（UK AISI）进行了连合测试。
而且，经过本身评估，Anthorpic在「Responsible Scaling Policy」中制定的ASL-2规范仍然适用于新模子。
如前所述，升级版的Claude 3.5 Sonnet面前仍是可以在网页、末端APP上使用了。
API的订价肇始为每百万输入Token 3好意思元，每百万输出Token 15好意思元。
通过使用智能缓存期间可省俭高达90%的老本，而使用批处理API则可省俭50%老本。
应用场景
Claude 3.5 Sonnet约略剖析细小的指示和落魄文，识别并改造本身演叨，还能从复杂数据中生成深远的分析和细察。联结起初进的编码、视觉识别和写稿才智，Claude 3.5 Sonnet可以被应用于多样场景。
- 模拟东说念主类操作电脑
通过API集成Claude，开发者可以领导Claude像东说念主类一样使用电脑——通过不雅察屏幕、移动鼠标、点击按钮和键入翰墨。Claude 3.5 Sonnet是首个约略以这种方式可靠使用电脑的前沿AI模子，天然面前在公开测试阶段仍具实验性质，但其才智会随时辰握续提高。
- 代码自动生成
Claude 3.5 Sonnet可以协助通盘软件开发人命周期——从驱动遐想到演叨竖立，从系统顾惜到性能优化。可以径直将它被集成到产物中，或通过Claude.ai平台将其用作智能编码助手。
- 智能对话系统
凭借增强的推理才智和亲和、天然的语气，Claude 3.5 Sonnet相等妥贴开发需要跨系统连接数据并践诺操作的智能对话系统。
- 智能常识问答
Claude 3.5 Sonnet具有大界限落魄文处理才智和极低的幻觉率，使其成为处理大型常识库、文档和代码库问答任务的理思收受。
- 视觉信息索要
Claude 3.5 Sonnet约略松驰从图表、图形和复杂示意图等视觉材料中索要信息——这使其成为数据分析和数据科学任务的理思东说念主工智能模子。
- 经由自动化
Claude 3.5 Sonnet约略杀青重叠性任务或经由的自动化。它具备业界当先的指示践诺才智，约略处理复杂的经由和操作。
全新Claude 3.5 Haiku，智能特出上代老衰老
从上一代对标来看，Claude 3.5 Haiku称得上是「最小杯」。
这是Anthropic速率最快的模子。
它不仅保握乐了与Claude 3 Haiku调换的运行老本和掌握的处理速率，还在各项手段全面提高。
以至，在多项智能基准测试中，Claude 3.5 Haiku特出了上一代最纷乱的模子Claude 3 Opus。
通常，Claude 3.5 Haiku在编码任务上的发扬尤为稀奇。
比如，在SWE-bench Verified测试中，它取得了40.6%的高分，特出了好多使用公开可用的起初进模子的AI智能体——包括原始版块的Claude 3.5 Sonnet和GPT-4o。
Claude 3.5 Haiku具备了三点隆起上风：
1. 低延长反应
2. 更精确的指示践诺才智
3. 更准确的器具使用
这些特质使得模子至极适用于，面向用户的产物开发、畸形的子智能体任务处理、基于海量数据（如购买纪录、价钱信息或库存数据）生成个性化体验。
本月末，Claude 3.5 Haiku将在多个平台上推出，包括Anthropic API、Amazon Bedrock和谷歌云的Vertex AI。（最初会以纯文本模子时势推出，随后会加入图像输入功能）
Claude 3.5 Haiku的订价肇始为每百万输入Token 0.25好意思元，每百万输出Token 1.25好意思元。
通过使用辅导词缓存期间可省俭高达90%的老本，而使用音问批处理API则可省俭50%的老本。
应用场景
凭借快速的处理速率、改造的指示践诺才智和更准确的器具使用，Claude 3.5 Haiku相等妥贴面向用户的产物、畸形的扶持任务，以及从海量数据中生成个性化体验。
- 代码自动补全
Claude 3.5 Haiku约略提供快速、准确的代码建议和补全，有用加快开发职责经由。至极妥贴那些但愿简化编码过程并提高分娩力的软件开发团队。
- 智能聊天机器东说念主
借助增强的对话才智和快速的反当令辰，Claude 3.5 Haiku在驱动能处理多半用户互动的反应式聊天机器东说念主方面发扬出色。关于需要可膨胀互动才智的客户管事、电子商务息争说平台来说，它尤其有价值。
- 数据索要和自动标注
Claude 3.5 Haiku能高效处理和分类信息，在快速数据索要和自动标注任务中发扬优异。这一才智关于需要处理金融、医疗保健和有计划领域多半非结构化数据的组织至极有用。
- 自动及时内容审核
Claude 3.5 Haiku通过其改造的推理和内容剖析才智，提供可靠、即时的内容审核管事。这关于那些需要大界限顾惜安全、稳妥内容的外交平台、在线社区和媒体组织来说极具价值。
怎么训导Claude操作电脑
Anthropic走漏，东说念主类松驰践诺的操作——滚动、拖拽、缩放，面前对Claude来说仍然很有挑战性。
而关于垃圾邮件、伪善信息、诓骗这类风险，公司正在寻找安全部署的战略，比如开发了识别系统，检测是否发生危害。
有计划过程
Anthropic在器具使用和多模态的职责，为AI识别息争释图像奠定了基础。
在此基础上，Claude还需要推理怎么以及何时把柄屏幕内容践诺操作。
为此，有计划者检修Claude准确诡计像素，从而完成号令，因为它必须诡计出需要垂直或水平移动鼠标指针几许像素，才能点击正确的位置。
在此期间，Claude马上将学习收效从诡计器和文本裁剪器这类简便软件的检修中，转移到了其他应用（珍爱，期间它不允许联网）。
这种检修让它能将用户指示转动为一系列逻辑技艺，践诺操作。遭遇壅塞时，以至还能自我改造、重试任务。
小插曲
Anthropic开发者磋商驾驭Alex Albert还共享了，团队在开发诡计机使用功能时的一个根由根由故事。
其时，他们举行了一场工程师的bug bash（裂缝排查行动），以确保发现API所有潜在的问题。
这意味着，要把一群工程师关在一个房间里几个小时。
其时，恰巧大众齐饿了。其中一位工程师灵机一闪，「不如让Claude来个实战演习，自主翻开DoorDash帮咱们订餐」。
没思到，简略一分钟后，Claude为工程师们定来了披萨。
预测来日
AI操作电脑才智代表了一种全新的东说念主工智能开发方法。
迄今端正，LLM开发者一直在远程使器具适合模子，创造特殊的环境，让AI使用畸形遐想的器具来完成多样任务。
面前，Anthropic「反治其身」——他们收受让模子去适合器具。也等于，Claude能像东说念主类一样，融入咱们平方使用的诡计机环境，径直使用现存的软件。
天然Claude仍是达到了刻下的最高水平，但它的操作仍然相对慢慢且容易出错。咱们平方使用电脑时的好多操作，如拖拽、缩放等，Claude齐还无法作念到。
此外，Claude面前不雅察屏幕的方式肖似于快速翻阅一册「画册」——通过一语气截图并拼接在一说念，而不是不雅察一语气的视频流。这意味着它可能会错过一些蓦然的手脚或奉告。
根由根由的是，Anthropic在录制Demo时，还遭遇了一些根由根由的小插曲。
比如，在一次演示中，Claude不防止点击罢手了一个永劫辰运行的屏幕录制，导致所有摄像齐付诸东流。
而在另一次编码演示中，Claude则蓦然「跑神」，脱手饶有真理地浏览起黄石国度公园的像片。
总之另类图片，Claude如今的发扬让东说念主对来日充满期待：AI操作电脑的才智将神速跳跃，那一天，软件开发小白齐能松驰使用它。