基于Python的自然语言处理系列（39）：Huggingface中的解码策略
在自然语言生成任务中，如何选择下一步的单词或者词语对生成的文本质量影响巨大。Huggingface 提供了多种解码策略，可以在不同的场景下平衡流畅度、创造力以及生成效率。在这篇文章中，我们将逐步介绍 Huggingface 中的几种常见解码策略，包括贪婪搜索、Beam Search（束搜索）、采样、Top-K 采样以及 Top-p（核采样）。通过具体代码示例，我们将对比这些策略的效果，并讨论它...
Hugging Face 与 TruffleHog 合作，实现风险预警
为了对抗公共和私有代码仓库中的机密信息泄露风险，我们与 TruffleHog 团队合作开展了两项举措: 利用 TruffleHog 增强我们的自动扫描流程，以及在 TruffleHog 中创建原生的 Hugging Face 扫描器。使用 TruffleHog 增强我们的自动化扫描流程在 Hugging Face，我们致力于保护用户的敏感信息。因此，我们扩展了包括 TruffleHog 在内的自动化扫描流程...
AGI 之 【Hugging Face】 的【Transformer】的 [ 解码器 ] / [ 认识 Transformer ]的简单整理
AGI 之 【Hugging Face】 的【Transformer】的 [ 解码器 ] / [ 认识 Transformer ]的简单整理 目录 AGI 之 【Hugging Face】 的【Transformer】的 [ 解码器 ] / [ 认识 Transformer ]的简单整理 一、简单介绍 二、Transformer 三、解码器 四、认识Transformer 1、Transformer的生命树 2...
AGI 之 【Hugging Face】 的【文本分类】的[数据集][文本转换成词元]的简单整理
AGI 之 【Hugging Face】 的【文本分类】的[数据集][文本转换成词元]的简单整理 目录 AGI 之 【Hugging Face】 的【文本分类】的[数据集][文本转换成词元]的简单整理 一、简单介绍 二、文本分类 三、数据集 1、Hugging Face Datasets 库 2、如果我的数据集不在Hub上那该怎么办？ 3、从Datasets到DataFrame 4、查看类分布 4、这些推文有多...
Hugging Face 全球政策负责人首次参加WAIC 2024 前沿 AI 安全和治理论坛
Hugging Face 全球政策负责人艾琳-索莱曼 （ Irene Solaiman ）将参加7月5日在上海举办的WAIC-前沿人工智能安全和治理论坛，并在现场进行主旨演讲和参加圆桌讨论。具体时间信息如下：主旨演讲：开源治理的国际影响时间 ｜ 7月5日下午15:35 - 15:50圆桌讨论：前言人工智能安全国际合作的优先事项时间｜ 7月5日下午16:15 - 16:45线上直播通道：可通过WAIC...
Hugging Face 分词器新增聊天模板属性
格式各各不同，我们需要用这些格式将对话转换为单个字符串并传给分词器。如果我们在微调或推理时使用的格式与模型训练时使用的格式不同，通常会导致严重的、无声的性能下降，因此匹配训练期间使用的格式极其重要！ Hugging Face 分词器新增了 chat_template 属性，可用于保存模型训练时使用的聊天格式。此属性包含一个 Jinja 模板，可将对话历史记录格式化为正确的字符串。请参阅 技术文档，以了解有关如何...
利用 NLP 超能力：一步步介绍Hugging Face微调教程
导入必要的库 导入必要的库类似于为特定编程和数据分析活动构建工具包。这些库通常是预先编写的代码集合，提供广泛的功能和工具，有助于加快开发速度。开发人员和数据科学家可以通过导入适当的库来访问新功能、提高生产力并使用现有解决方案。 import pandas as pdimport numpy as npfrom sklearn.model_selection import train_test_split i...
【Hugging Face】管理 huggingface_hub 缓存系统
摘要 这篇文档介绍了Hugging Face Hub的缓存系统。该系统旨在提供一个中央缓存，以便不同版本的文件可以被下载和缓存。缓存系统将文件组织成模型、数据集和空间等不同的目录，每个目录包含特定类型的文件。系统确保如果文件已经下载并更新，除非明确要求，否则不会再次下载。 这篇文档还提到了一些关于缓存系统的具体信息，例如缓存目录的结构、文件夹中包含的文件类型以及如何检查和删除缓存。此外，文档还介绍了如何使用Hu...
【HuggingFace】Transformers（V4.34.0 稳定）支持的模型
Labs）与论文Dilated Neighborhood Attention Transformer by Ali Hassani and Humphrey Shi一起发布。DistilBERT（来自HuggingFace），与论文DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter by Victor San...
（StackOverflow）使用Huggingface Transformers从磁盘加载预训练模型
这是在Stack Overflow上的一个问答，链接如下： Load a pre-trained model from disk with Huggingface Transformers - Stack Overflowhttps://stackoverflow.com/questions/64001128/load-a-pre-trained-model-from-disk-with-huggingface...