在过去的十几年里，机器学习的进步促进了自动驾驶系统、虚拟助手和移动机器人的发展，它们变得越来越自主。除此之外，开发自主系统的研究人员需要找到方法来集成旨在解决不同但互补的子任务的组件。
例如，在人类用户家中完成手动任务的机器人应该能够感知其环境中的物体，同时，它可以获得关于这些物体的信息，然后这些信息可以用于规划其动作和行动。这一过程也被称为“感知-认知-行动”范式，具有至关重要的意义，因为它最终使机器人能够提出有用的策略并有效地完成任务。
到目前为止，大多数在机器人中实现这种感知-认知-动作范式的方法，都把这三个任务看作几乎完全独立的模块，彼此是黑箱。然而，来自德国不来梅大学和慕尼黑大学的一组研究人员认为，将机器人的“感知”系统与其认知(即“推理”或检索周围环境中物体信息的能力)联系起来，可以大大提高其整体性能。
鉴于此，研究人员最近开发了一种认知感知系统，可以增强移动机器人在日常操作任务中的表现。这个名为ROBOSHERLOCK的系统通过内容分析(CA)获得认知，这需要统计方法来分析大量数据。
ROBOSHERLOCK分析的数据是“非结构化的”，因为它的结构不能像在数据库或电子表格中那样反映与之相关的语义。因此，该系统使用了一种称为非结构化信息管理(UIM)的策略，这本质上意味着它可以使用一组信息提取算法来处理大量非结构化数据(例如，文本文档、音频文件、图像等)。).这些算法中的每一个都根据其“专业知识”提取不同类型的知识，然后对它们进行分级和组合，以获得一致的决策。
研究者在论文中写道：“在ROBOSHERLOCK中，对现实场景的感知和解释被表述为一个非结构化信息管理(UIM)问题。”“UIM原理的应用支持感知系统的实现，可以回答场景中与对象相关的任务相关查询，结合各种感知算法的优势，提高对象识别的性能，支持基于知识的对象推理，实现自动化、知识驱动的处理流水线生成。”
研究人员通过一系列测试评估了他们的框架，并将其应用于现实世界场景感知的不同系统。他们发现，与其算法检索到的背景知识相关(即处理)的“推理”可以使ROBOSHERLOCK回答各种问题，这些问题可以在周围环境中直接感知。
研究者在最近的研究中引入的ROBOSHERLOCK组件可以视为其核心功能。随后，研究人员还开发了一些扩展来增强系统的认知能力。例如，他们创建了一个扩展，允许系统同时检测人和物体，从而推断人类正在执行的动作以及这些动作的意图。
研究人员在论文中写道：“最近，我们研究了ROBOSHERLOCK框架如何让代理‘做梦’，并使用最先进的游戏引擎来生成任务变体和学习新的感知模型。”“所有这些扩展都从机器人执行任务的角度关注机器人感知，如果没有这里介绍的核心框架，这是不可能实现的。”