Listeners#

在此，我们描述 Argilla listeners 的功能

class argilla.listeners.Metrics(**kwargs)#

单个 listener 执行的指标结果。

metrics 对象将 listener 配置的指标作为属性值公开。例如，如果您定义了一个包含指标 “F1” 的 listener，则结果将可以作为 metrics.F1 访问

class argilla.listeners.RGDatasetListener(dataset, action, metrics=None, query=None, query_params=None, condition=None, query_records=True, interval_in_seconds=30)#

argilla 数据集 listener 类

参数:

  • dataset (str) – 在其上创建 listener 的数据集

  • action (Union[Callable[[List[Union[TextClassificationRecord, TokenClassificationRecord, Text2TextRecord, TextGenerationRecord]], RGListenerContext], bool], Callable[[RGListenerContext], bool]]) – 当条件满足时执行的动作

  • metrics (Optional[List[str]]) – 条件中将需要的指标 ID 列表

  • query (Optional[str]) – 要应用的查询字符串

  • query_params (Optional[Dict[str, Any]]) – 在提供的查询中动态使用的已定义参数

  • condition (Optional[Callable[[Search, Optional[RGListenerContext]], bool]]) – 满足后执行动作的条件

  • query_records (bool) – 如果为 False，则记录不会作为参数传递给动作。默认值：True

  • interval_in_seconds (int) – listener 的执行频率。默认为 30 秒

property formatted_query: Optional[str]#

使用定义的查询参数（如果有）格式化的查询

is_running()#

如果 listener 正在运行，则为 True

start(*action_args, **action_kwargs)#

开始监听数据集中的更改。此外，可以使用 action_* 参数将 args 和 kwargs 传递给 action

如果 listener 已经启动，将引发 ValueError

stop()#

如果 listener 仍在运行，则停止 listener。

如果 listener 已经停止，将引发 ValueError

class argilla.listeners.RGListenerContext(listener, search=None, metrics=None, query_params=None)#

argilla listener 执行上下文。此类保存与 listener 相关的上下文组件

参数:

  • listener (RGDatasetListener) – argilla listener 实例

  • search (Optional[Search]) – 当前执行的搜索结果

  • metrics (Optional[Metrics]) – 当前执行的指标结果

  • query_params (Optional[Dict[str, Any]]) – listener 查询中使用的动态参数

property dataset: str#

返回配置的 listener 数据集名称的计算属性

property query: Optional[str]#

返回配置的 listener 查询字符串的计算属性

class argilla.listeners.Search(total, query_params=None)#

单个 listener 执行的搜索结果

参数:

  • total (int) – 受 listener 查询影响的记录总数

  • query_params (Optional[Dict[str, Any]]) – 应用于执行搜索的查询参数

argilla.listeners.listener(dataset, query=None, metrics=None, condition=None, with_records=True, execution_interval_in_seconds=30, **query_params)#

将装饰函数配置为 argilla listener。

参数:

  • dataset (str) – 数据集名称。

  • query (Optional[str]) – 查询字符串。

  • metrics (Optional[List[str]]) – listener 条件所需的指标。

  • condition (Optional[Callable[[Search, Optional[RGListenerContext]], bool]]) – 定义搜索和指标的条件，当条件满足时启动动作。

  • with_records (bool) – 将记录作为动作参数的一部分包含在内。如果为 False，则仅传递 listener 上下文 RGListenerContext。默认值：True。

  • execution_interval_in_seconds (int) – 定义 listener 迭代的执行间隔（秒）。

  • **query_params – 查询中使用的动态参数。这些参数将通过 listener 上下文提供，并且可以为后续查询更新。