
资料内容:
1. 方式一
1.1下载数据
import os
# 设置 Hugging Face 镜像地址
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
from datasets import load_dataset
# Login using e.g. `huggingface-cli login` to access this dataset
ds = load_dataset("FreedomIntelligence/medical-o1-reasoning-SFT", # 数据集名称
"zh", # 配置名(语
言)
cache_dir="/root/app/Hugging_face_user/local_medical-01-
reasoning-SFT")
print(ds) # 查看数据集结构
print(ds["train"][0]) # 查看训练集第一条样本
"""
FreedomIntelligence__medical-o1-reasoning-sft 是 Hugging Face 上的 dataset ID,zh
是配置(language)。
"""
# print("*" * 100)
# import os
# print(os.listdir("/root/app/Hugging_face_user/local_medical-01-reasoning-SFT"))