监控#

这里我们描述了 Argilla 中可用的监控器

基础监控器#

class argilla.monitoring.base.BaseMonitor(*args, api, dataset, sample_rate=1.0, log_interval=1.0, agent=None, tags=None, **kwargs)#

用于轻松任务模型监控的基础监控器类

属性：#

dataset

argilla 数据集名称

sample_rate

要存储在 argilla 中的数据部分。默认值 = 0.2

is_record_accepted()#

如果应该将记录记录到 argilla，则返回 True

返回类型:

bool

shutdown()#

停止消费者

class argilla.monitoring.base.DatasetRecordsConsumer(name, api, tags=None, metadata=None, buffer_size=10000, upload_size=256, upload_interval=1.0, retries=10, timeout=15, on_error=None)#

从数据集队列中消费记录。

参数：

  • name (str) –

  • api (Argilla) –

  • tags (Optional[dict]) –

  • metadata (Optional[dict]) –

  • buffer_size (int) –

log_next_batch()#

上传下一批项目，返回是否成功。

pause()#

暂停消费者。

run()#

运行消费者。

send(records)#

发送记录给消费者

参数：

records (Iterable[Union[TextClassificationRecord, TokenClassificationRecord, Text2TextRecord, TextGenerationRecord]]) –

exception argilla.monitoring.base.ModelNotSupportedError#

ArgillaLogHTTPMiddleware#

框架监控器#

argilla.monitoring.model_monitor.monitor(task_model, dataset, sample_rate=0.3, agent=None, log_interval=5)#

自动监控 (即日志记录) 通过 Transformer 管道、spaCy 模型或 flAIr 标注器馈送的数据。

参数：

  • task_model (Union[Language, Pipeline, SequenceTagger]) – spaCy Language、transformers Pipeline 或 flAIr SequenceTagger。

  • dataset (str) – 要将数据记录到的 Argilla 数据集。

  • sample_rate (float, optional) – 要记录的处理数据部分。默认为 0.3。

  • agent (Optional[str], optional) – 日志记录代理的名称。默认为 None。

  • log_interval (float, optional) – 上传间隔（秒）。默认为 5。

返回值:

充当等效项的监控器

到输入 task_model。

返回类型:

Union[BaseMonitor, Language, Pipeline, SequenceTagger]

Transformers 监控器#

class argilla.monitoring._transformers.HuggingFaceMonitor(*args, api, dataset, sample_rate=1.0, log_interval=1.0, agent=None, tags=None, **kwargs)#
class argilla.monitoring._transformers.TextClassificationMonitor(*args, api, dataset, sample_rate=1.0, log_interval=1.0, agent=None, tags=None, **kwargs)#

配置 Hugging Face 文本分类管道的监控

class argilla.monitoring._transformers.ZeroShotMonitor(*args, api, dataset, sample_rate=1.0, log_interval=1.0, agent=None, tags=None, **kwargs)#

spaCy 监控器#

class argilla.monitoring._spacy.SpacyNERMonitor(*args, api, dataset, sample_rate=1.0, log_interval=1.0, agent=None, tags=None, **kwargs)#

用于 Argilla 中 NLP NER 监控的 spaCy Language 包装器

static doc2token_classification(doc, agent, metadata)#

将 spaCy Doc 转换为 token 分类记录

参数：

  • doc (MissingType) – spacy doc

  • agent (str) – 用于 prediction_agent 字段的 Agent。可以是模型路径或模型语言 + 模型版本

  • metadata (Optional[Dict[str, Any]]) – 传递到 argilla.TokenClassificationRecord。

返回类型:

TokenClassificationRecord

Flair 监控器#

class argilla.monitoring._flair.FlairMonitor(*args, api, dataset, sample_rate=1.0, log_interval=1.0, agent=None, tags=None, **kwargs)#