CrayEye ：利用AI实时分析智能手机摄像头捕捉到的环境并提供问答帮助

CrayEye是一个利用人工智能技术开发的多功能移动应用程序。它主要通过整合智能手机上的多种传感器（如摄像头和位置传感器）和人工智能生成的动态提示，来帮助用户更高效地处理和交互信息。

CrayEye借助多模态视觉语言模型实时分析智能手机摄像头捕捉到的环境，并提供问答帮助。

多模态交互： CrayEye可以同时处理多种输入方式，如图像、文本和传感器数据。这使得应用能够在多种场景下提供更为丰富和灵活的用户体验。

智能提示生成： 应用能够根据用户的位置和其他传感器数据生成定制化的提示。例如，如果你在一个特定的地点，应用可以生成与该地点相关的信息或建议。

举例解释 假设你是一个旅游爱好者，正在访问一个新的城市。你使用CrayEye应用程序来增强你的旅游体验。

当你在城市的一个著名景点前，你可以使用CrayEye的相机功能拍摄景点。CrayEye能识别你所拍摄的景点，并提供相关的历史信息、访问时间和其他游客的推荐。

在探索城市时，CrayEye可以根据你的实时位置提供定制化的提示。例如，当你接近一家评价很高的餐厅时，应用会提示你尝试当地特色菜肴或当前的特价活动。

直观用户界面： CrayEye 设计有一个直观快速的用户界面，可以迅速捕捉用户的输入。用户可以快速地通过应用程序进行操作，无论是输入文本、拍照还是使用其他输入方法，都能得到迅速响应。 应用场景： 例如，用户在旅行中遇到一个不认识的地标，可以快速通过CrayEye的相机功能拍照，应用立即分析并提供该地标的信息。 能够轻松使用所有摄像头： CrayEye 可以无缝接入设备上的前置和后置摄像头，用户可以根据需要选择使用哪个摄像头。这一功能使得应用在需要视觉输入的功能上特别灵活，如拍照、视频捕捉或进行实时图像分析。 应用场景： 在需要进行实时视频通话或拍摄视频日志时，用户可以根据个人需要轻松切换摄像头。 可配置的提示： CrayEye 允许用户创建和配置自定义提示，这些提示可以根据用户的具体需求进行编辑和保存。用户还可以将这些配置好的提示分享给其他用户，这增加了应用的互动性和个性化体验。 应用场景： 假设用户经常需要记录特定类型的事件或位置，他们可以创建一个特定的提示设置，每次记录时都按照这个模板来进行，提高效率。 整合设备传感器数据 CrayEye 能够整合使用设备的传感器数据，如GPS位置数据，以增强应用的功能。通过访问这些数据，CrayEye 可以提供位置相关的服务或信息，使得应用更加智能和适应用户的环境。 应用场景： 用户在城市导航时，CrayEye 不仅可以显示当前位置，还可以根据位置显示附近的餐厅、景点等信息，并提供实时的交通更新和建议。 主要方法 创建视觉提示 ：构建一个视觉模型，当用户通过他们的设备相机查看某个物体时，Crayeye 能够识别这个物体，并显示相关的信息或数据。例如，如果用户对着一座建筑物，您的应用可以显示这座建筑的历史信息或当前事件。

集成传感器数据 ：结合设备的GPS和运动传感器数据，Crayeye 可以提供关于用户当前位置和移动状态的分析，从而增强应用的交互性和功能。例如，在一个旅游应用中，当用户接近某个旅游景点时，应用能自动弹出该景点的详细介绍和访客信息。

跨平台使用 ：无论是在 Android 手机还是 iPhone 上，都可以使用您开发的应用，因为 Crayeye 支持在这些不同的设备上构建和部署应用。

开发过程 Alexandria Redmon在其博客中详细介绍了CrayEye的开发过程。

这个应用程序完全由现代大型语言模型（LLM）编写代码创建，尽管作者对使用的语言和框架不熟悉。开发过程中主要依赖了OpenAI的GPT-4、Anthropic的Claude 3 Opus和Google的Gemini Advanced等模型。

应用程序开发历程： Redmon探索了未使用常规前端框架（如create-react-app或create-next-app）而直接使用LLMs开发应用的可能性。她通过设置Flutter开发工具并运行基本命令来开始项目，然后利用LLMs增加如相机预览和HTTP请求等功能。在此过程中，代码的维护和管理通过将代码分割成不同的文件和模块来实现，增强了开发流程的效率和可管理性。