当前位置: 首页 > news >正文

Linux下使用Transformers,模型和数据集的位置

前提:

from transformers import AutoTokenizer, AutoModelForCausalLMtokenizer = AutoTokenizer.from_pretrained()
model = AutoModelForCausalLM.from_pretrained()

使用 transformers 从 huggingface 下载模型和数据集时。
在 Linux 系统下,其保存的路径为:

/home/user/.cache/huggingface/hub/

其中的文件夹:blobs
存储大型二进制文件(如模型权重、数据集等)
文件以哈希值命名(如 sha256:a1b2c3…),确保内容唯一性
通过软链接被其他目录(如 snapshots)引用,避免重复存储
——————————————————————————————
文件夹:snapshots
保存可用的模型版本快照
每个子目录(如 snapshots/v1/)包含完整的模型文件结构
文件实际通过软链接指向 blobs 中的二进制内容,减少磁盘占用
直接调用 snapshots/v1/model.bin 即可加载指定版本模型,无需处理哈希值

http://www.lqws.cn/news/143281.html

相关文章:

  • 把握时代脉搏,铸就行业标杆:珠江电缆未来发展战略展望
  • 【C++ Qt】窗口(Qt窗口框架、菜单栏QMenuBar)
  • OGG-01635 OGG-15149 centos服务器远程抽取AIX oracle11.2.0.4版本
  • Day13
  • PPT转图片拼贴工具 v1.0
  • SQL知识合集(一):函数篇
  • 神经网络-Day45
  • 装备制造项目管理具备什么特征?如何选择适配的项目管理软件系统进行项目管控?
  • 高效集成AI能力:使用开放API打造问答系统,不用训练模型,也能做出懂知识的AI
  • 面向开发者的提示词工程③——文本总结(Summarizing)
  • 多层PCB技术解析:从材料选型到制造工艺的深度实践
  • centos升级内核
  • 基于 TensorFlow 2 的 WGAN来生成表格数据、数值数据和序列数据。 WGAN生成对抗网络。代码仅供参考
  • Linux信号捕捉技术深度解析
  • Excel数据分析:基础
  • BLE中心与外围设备MTU协商过程详解
  • Win10停更,Win11不好用?现在Mac电脑比Win11电脑更便宜
  • element-plus 单选组件 el-radio,选不上,又没报错,直接复制官网也不行解决方案
  • [Git] 文件删除
  • Selenium 和playwright 使用场景优缺点对比
  • 【图像处理3D】:点云图是怎么生成的
  • Spring中@Primary注解的作用与使用
  • python打卡训练营打卡记录day45
  • PlantUML 使用示例
  • 斐波那契数列------矩阵幂法
  • Ruoyi多主键表的增删改查
  • 仓库拉下ssm项目配置启动
  • 定时任务的 cron 表达式
  • A*算法实现原理以及实现步骤(C++)
  • kubernetes jenkins pipeline优化拉取大仓库性能指定分支+深度