苹果对 Siri 进行全面改造具有屏幕感知能力以及跨应用执行各种任务

在 WWDC 2024 大会上，苹果公司对 Siri 进行了全面改造，以适应其今年推动的生成式 AI 技术。Siri 现在变得更加自然、相关且个性化，并且拥有全新的外观，包括一个环绕设备屏幕边缘的发光图标。

Siri 主要改进和详细功能

1. 自然语言处理

更好的语音处理：Siri 现在能够更好地理解语音中的停顿和错误，使交互更加流畅自然。
文本输入：用户可以通过键入来与 Siri 互动，特别是在不方便说话的情况下，例如在公共场所或需要保持安静的环境中。
用户可以选择以文字方式与 Siri 互动，这在不方便语音交互的情况下尤为实用。用户可以双击屏幕底部快速安静地与 Siri 进行文字交互

2. 全新设计

全新的图标和界面：Siri 现在拥有一个新的图标，当被激活时，会在设备屏幕边缘显示发光效果，提供更直观的视觉反馈。

3. 屏幕感知

识别屏幕内容：Siri 可以识别屏幕上的内容，并根据上下文执行操作。例如，如果朋友发来一个地址，用户可以指示 Siri 将该地址添加到联系人中。
Siri 能理解用户在应用中的更多操作，并利用新的编排能力在应用内执行任务。例如，用户可以说“展示我在纽约的 Stacy 穿着粉色外套的照片”，然后进一步说“让这张照片更加突出”，Siri 会自动调整照片

4. 跨应用操作

Siri 将能够在应用程序内外执行数百种新操作（包括第三方应用程序），包括使用新的生成能力。
App Intents API：新的 API 允许开发者将 Siri 深度集成到他们的应用中，Siri 可以在这些应用中执行各种操作。
- 示例功能：
  - 照片增强：用户可以要求 Siri “增强这张照片的效果”，Siri 会根据用户需求自动调整照片。
  - 跨应用任务：例如，用户可以要求 Siri 从邮件中提取信息并添加到日历中，或者将编辑好的照片插入到笔记应用中。

使用Siri在应用程序中和应用程序之间无缝地采取行动。您可以提出类似“将我起草的电子邮件发送给April和Lilly”的请求，Siri知道您正在引用哪封电子邮件以及它在哪个应用程序中。Siri可以跨应用程序进行操作，因此在您要求Siri通过说“让这张照片弹出”来增强照片后，您可以让Siri将其放在“备忘录”应用程序中的特定笔记中——无需动动手指。

用户可以询问航班信息、安排日程、在应用之间执行任务、调整照片等，所有这些操作都可以通过自然语言与 Siri 互动完成

5. 个人上下文理解

利用个人数据：Siri 能够利用用户的消息、日历事件、文件和照片等个人数据来完成更复杂的任务。
- 示例功能：
  - 提取信息：Siri 可以找到用户驾照的照片，提取 ID 号码并将其输入到网页表单中。
  - 添加地址：用户可以要求 Siri 将朋友发来的地址添加到联系人卡片中。