·如果用户发送冰箱内部的照片，AI虚拟志愿者不仅能够正确识别里面的东西，还能推断和分析可以用这些东西做什么菜，并为这些食材提供食谱。

(资料图片仅供参考)

·学习法语的用户可以假装在巴黎的一家咖啡馆点咖啡，或者与AI扮演的某个人讨论未来的假期计划。完成对话后，用户将获得有关其准确性的AI反馈。

人工智能研究机构OpenAI 3月14日发布了其大型语言模型的最新版本GPT-4。GPT-4是一个多模态大模型，可以接受图像和文本输入，相比GPT-3能够更准确地解决难题，更具创造性和协作性，可处理超过25000个单词的文本。

在正式发布前，GPT-4就已为微软公司的新必应（New Bing）提供了支持。此外，还有多款日常应用选择“尝鲜”与GPT-4合作，包括教育学习软件、残障人士助手和支付平台，展示了这一新的大模型在应用上更多的可能性。

为有视觉障碍人士提供图像信息指导

成立于2012年的Be My Eyes是一家丹麦初创公司，致力于为盲人或视力低下的人提供技术帮助。该公司协助有视觉障碍的人与志愿者联系，志愿者可以帮助他们完成日常生活任务，比如导航到目的地。

人工智能虚拟志愿者可帮助视障人士了解图片信息。

在GPT-4的支持下，Be My Eyes应用程序现在拥有一个人工智能虚拟志愿者，它可以像人类志愿者一样帮助残障人士。这家初创公司分享了一个例子，视障人士能够在轨道交通系统中获取AI导航，以了解他们在地图上的位置，并逐步获得提示到达目的地。

Be My Eyes应用程序的新版本是第一个集成GPT-4多模态功能的应用程序，不仅能够清晰地聊天，还能够检查和理解用户提供的图像。用户可以通过该应用程序将图像发送给人工智能虚拟志愿者，该志愿者将回答有关该图像的任何问题，并为各种任务提供即时的视觉帮助。

例如，如果用户发送他们冰箱内部的照片，虚拟志愿者不仅能够正确识别里面的东西，还能推断和分析可以用这些东西做什么菜。然后，该工具还可以为这些食材提供食谱，发送有关如何制作菜肴的指南。

Be My Eyes的一位用户展示了该应用程序如何帮助她完成一系列实时操作。新的机器人可以用来描述裙子的外观、识别植物、阅读地图、翻译标签、引导她去健身房的某台跑步机，并告诉她在自动售货机上按哪个按钮。

但目前，容易犯错的AI还难以完全取代人类志愿者。

这项新功能正在Be My Eyes的小部分用户中进行封闭测试，将在未来几周扩大测试范围。“我们希望在未来几个月内广泛地提供虚拟志愿者。”该团队写道，“而且就像我们现有的志愿者服务一样，这个工具对所有使用Be My Eyes应用程序的盲人和低视力成员免费。”

AI陪你学习英语

语言学习软件提供商多邻国（Duolingo）3月14日宣布，该公司正在推出一个新的“Duolingo Max”订阅，为在iOS操作系统上学习西班牙语和法语的英语用户提供由GPT-4支持的新功能。该公司还计划短期内将新功能推广到更多课程和平台。

Duolingo Max服务界面。

Duolingo Max每月收费29.99美元或每年167.99美元，可解锁两项新的人工智能功能——“角色扮演”和“解释我的答案”。

其中，“角色扮演”功能提供了一个AI聊天机器人，允许用户与AI练习真实世界中的对话技巧。得益于GPT-4，机器人的响应与互动能力将十分强大，可指导用户完成不同的场景对话。例如，用户可以假装在巴黎的一家咖啡馆点咖啡，或者与AI扮演的某个人讨论未来的假期计划。完成对话后，用户将获得有关其准确性的AI反馈。

在多邻国上与人工智能练习外语。

多邻国表示，人类专家会编写用户在角色扮演中所处的场景，并确保最开始的场景提示与用户在其课程中学到的一样。专家们还在聊天中写下初始消息，并告诉AI模型从哪里开始对话。

“解释我的答案”功能则让用户可以更深层次了解自己在练习中给出的答案。用户可以在完成某些练习后点击一个按钮，开始与多邻国的吉祥物、一只可爱的卡通绿色鸟聊天，了解答案正确或错误的原因，并可以要求AI提供示例或进一步说明。该公司表示，该功能旨在在用户犯错却不知道原因时提供帮助。

多邻国表示，AI会不断审查这两项功能中生成的回答，以确保答案是正确的。当微软今年早些时候将GPT-4纳入必应时，用户经常收到令人不安的回答。多邻国可能希望防止类似情况发生在其聊天机器人上，因此，多邻国表示将确保AI的语气是有趣的、鼓励性的。

GPT-4总结的摘要优于人撰写的摘要

Stripe是一个流行的支付网关平台，帮助企业和个人处理国际支付事务。该公司已经在使用GPT-3完成分发票据和总结用户问题等任务，目前开始使用GPT-4。

Stripe表示，GPT-4可以更好地了解用户业务，并比人工审查人员更好地扫描网站以获得工作摘要。该公司的开发人员说，更新后的模型可以很容易地理解用户的问题，突出重要的部分，总结解决方案，甚至阅读十分详细的文档。

该公司还使用GPT-4分析社交媒体Discord上帖子的语法，以标记可疑账户，扫描入站通信并识别协同攻击。

Stripe应用机器学习团队的产品负责人尤金·曼恩（Eugene Mann）表示：“GPT-4改变了游戏规则。它开辟了很多领域。”他说，许多企业，比如夜总会都会保持其网站的神秘，因此需要大量搜索和点击才能了解发生了什么。现在，Stripe使用GPT-4扫描这些网站并提供摘要，这些摘要的表现优于人撰写的摘要。“当我们开始检查结果时，我们意识到，‘等一下，人类错了，模型是正确的。’”曼恩说，“GPT-4基本上比人类评论员好。”

为学生定制个性化课程

可汗学院（Khan Academy）是一家非营利性教育组织，其使命是为任何地方的任何人提供免费、世界一流的教育。该组织为所有年龄段的学生提供数千门数学、科学和人文学科课程。

3月14日，可汗学院宣布，它将使用GPT-4为其人工智能驱动的助手Khanmigo提供动力，Khanmigo既是学生的虚拟导师，也是教师的课堂助手。

可汗学院2022年开始测试OpenAI语言模型的最新版本，并将首先向数量有限的参与者提供Khanmigo试点计划，公众被邀请加入候补名单。早期的参与者将观察错误，特别是在数学问题中，并标记它们以进行纠正。

GPT-4的主要能力之一是能够理解自由形式的问题和提示。这种能力为可汗学院提供了最关键的支持：向每个学生提出个性化的问题，以促进更深入的学习。

可汗学院表示，目前开发人员在测试一些功能，帮助教师编写课堂提示和教学材料，或是在计算机编程课程中总结某些特定要点。

可汗学院首席学习官克里斯汀·迪塞尔博（Kristen DiCerbo）表示，“我们认为GPT-4正在为教育开辟新的领域。”“长期以来，很多人都梦想着这种技术。这是变革性的，我们计划负责任地进行测试，以探索它是否可以有效地用于学习和教学。”

关键词：