文本transformer注意力数据

可视化文本Transformer的注意力值。选择需要可视化的文本数据,可视化并统计其对应的注意力值

summarywriter.add_attention(tag: str,
                               texts: list,
                               tokenizer_tokens: list,
                               attention_data: list,
                               model_type: str):
    """
        添加文本Transformer需要可视化的句子及其对应的的注意力数据到日志
    Args:
        tag:字符串,Transformer可视化的标识。
        texts: 列表,需要可视化的句子。
        tokenizer_tokens:列表,需要可视化的句子经过分词后的token列表。
        attention_data:列表,需要可视化的句子在模型中所对应的注意力数据。
        model_type:字符串,若为"gpt2",则模型为非双向的。其他的模型为双向的。
    """