day24 元组和OS模块
目录
元组
1.元组的定义和特点
2.元组和列表的对比
3.元组的创建
4.元组的常见用法
5.与Pipeline的关系
可迭代对象
OS模块
1.获取当前工作目录
2.获取当前工作目录下的文件列表
3.环境变量方法
4.目录树
总结
作业: 对自己电脑的不同文件夹利用今天学到的知识操作下,理解下os路径。
元组
1.元组的定义和特点
元组是python中一个内置数据类型,用于存储一系列有序的元素。元组中的元素可以是任何类型,包括数据、字符串、列表等,且元组之间用逗号分隔,整个元组用圆括号包围。
2.元组和列表的对比
元组与列表在功能上有许多相似之处,但它们的可变性是关键区别。列表是可变的,可以添加、删除或修改元素;而元组则不可变。
3.元组的创建
my_tuple1 = (1, 2, 3)
my_tuple2 = ('a', 'b', 'c')
my_tuple3 = (1, 'hello', 3.14, [4, 5]) # 可以包含不同类型的元素
print(my_tuple1)
print(my_tuple2)
print(my_tuple3)
(1, 2, 3)
('a', 'b', 'c')
(1, 'hello', 3.14, [4, 5])
# 可以省略括号
my_tuple4 = 10, 20, 'thirty' # 逗号是关键
print(my_tuple4)
print(type(my_tuple4)) # 看看它的类型
(10, 20, 'thirty')
<class 'tuple'>
# 创建空元组
empty_tuple = ()
# 或者使用 tuple() 函数
empty_tuple2 = tuple()
print(empty_tuple)
print(empty_tuple2)
4.元组的常见用法
# 元组的索引
my_tuple = ('P', 'y', 't', 'h', 'o', 'n')
print(my_tuple[0]) # 第一个元素
print(my_tuple[2]) # 第三个元素
print(my_tuple[-1]) # 最后一个元素
P
t
n
# 元组的切片
my_tuple = (0, 1, 2, 3, 4, 5)
print(my_tuple[1:4]) # 从索引 1 到 3 (不包括 4)
print(my_tuple[:3]) # 从开头到索引 2
print(my_tuple[3:]) # 从索引 3 到结尾
print(my_tuple[::2]) # 每隔一个元素取一个
(1, 2, 3)
(0, 1, 2)
(3, 4, 5)
(0, 2, 4)
# 元组的长度获取
my_tuple = (1, 2, 3)
print(len(my_tuple))
3
5.与Pipeline的关系
管道工程中pipeline类接收的是一个包含多个小元组的列表作为输入。
可以这样理解这个结构:
1.列表 [ ]:定义了步骤执行的先后顺序。Pipeline会按照列表中的顺序依次处理数据。之所以用列表,是未来可以对这个列表进行修改。
2.元组 ( ):用于将每个步骤名称和处理对象捆绑在一起。名称用于在后续访问或设置参数时引用该步骤,而对象则是实际实行数据转换或模型训练的工具。固定了操作名和操作。
可迭代对象
可迭代对象(Iterable)是Python中一个非常核心的概念。简单来说,一个可迭代对象就是指那些能后一次返回其成员(元素)的对象,让你可以在一个循环(比如for循环)中遍历它们。
Python中有很多内置的可迭代对象,目前我们见过的类型包括:
- 数据类型(Sequence Types):
· list(列表)
· tuple(元组)
· str(字符串)
· range(范围)
- 集合类型(Set Types):
· set(集合)
- 字典类型(Mapping Types):
· dict(字典)- 迭代时返回键(keys)
- 文件对象(File objects)
- 生成器(Generators)
- 迭代器(Iterable)本身
# 列表 (list)
print("迭代列表:")
my_list = [1, 2, 3, 4, 5]
for item in my_list:print(item)# 元组 (tuple)
print("迭代元组:")
my_tuple = ('a', 'b', 'c')
for item in my_tuple:print(item)# 字符串 (str)
print("迭代字符串:")
my_string = "hello"
for char in my_string:print(char)# range (范围)
print("迭代 range:")
for number in range(5): # 生成 0, 1, 2, 3, 4print(number)# 集合 (set) - 注意集合是无序的,所以每次迭代的顺序可能不同
print("迭代集合:")
my_set = {3, 1, 4, 1, 5, 9}
for item in my_set:print(item)# 字典 (dict) - 默认迭代时返回键 (keys)
print("迭代字典 (默认迭代键):")
my_dict = {'name': 'Alice', 'age': 30, 'city': 'Singapore'}
for key in my_dict:print(key)# 迭代字典的键值对 (items)
print("迭代字典的键值对:")
for key, value in my_dict.items(): # items方法很好用print(f"Key: {key}, Value: {value}")
OS模块
随着深度学习项目变得越来越大、数据量越来越多、代码结构越来越复杂,你会越来越频繁使用os模块来管理文件、目录、路径,以及进行一些基本的操作系统交互。虽然深度学习核心在于模型构建和训练,但数据和模型的有效管理是项目成功的关键环节,而os模块为此提供了重要的工具。
在简单的入门级项目中,你可能只需要使用pd,read_csv()加载数据,而不需要直接操作文件路径。但是,当你开始处理图像数据集、自定义数据加载流程、保存和加载复杂的模型结构时,os模块就会变得非常有用/
好的代码组织结构和有效文件管理是大型深度学习项目的基石。os模块是实现这些目标的重要组成部分。
import os
# os是系统内置模块,无需安装
1.获取当前工作目录
os.getcwd() # get current working directory 获取当前工作目录的绝对路径
'/Users/wangbinhao/Desktop/python学习'
2.获取当前工作目录下的文件列表
os.listdir() # list directory 获取当前工作目录下的文件列表
['day24 元组和OS模块.ipynb', 'day22.ipynb', 'day9.ipynb', '.DS_Store', 'day19.ipynb', 'day8.ipynb', 'test.csv', 'Hypertension.csv', 'heart.csv', 'submission.csv', 'data.xlsx', 'day18.ipynb', 'data.csv', 'day14.ipynb', 'day16.ipynb', 'day12.ipynb', 'day1-3.ipynb', '测试.py', 'day6.ipynb', 'day4.ipynb', 'day10.ipynb', 'train.csv', 'day21 常见的降维算法.ipynb', 'day17.ipynb', 'day15.ipynb', 'day5.ipynb', 'day11.ipynb', 'day20 奇异值分解.ipynb', 'day23 机器学习流水线.ipynb', 'day13.ipynb', 'day7.ipynb']
# 我们使用 r'' 原始字符串,这样就不需要写双反斜杠 \\,因为\会涉及到转义问题
path_a = r'/Users/wangbinhao/Desktop/python' # r''这个写法是写给python解释器看,他只会读取引号内的内容,不用在意r的存在会不会影响拼接
path_b = 'MyProjectData'
file = 'results.csv'# 使用 os.path.join 将它们安全地拼接起来,os.path.join 会自动使用 mac 的斜杠 '/' 作为分隔符
file_path = os.path.join(path_a , path_b, file)file_path
'/Users/wangbinhao/Desktop/python/MyProjectData/results.csv'
3.环境变量方法
# os.environ 表现得像一个字典,包含所有的环境变量
os.environ
environ{'APPCODE_VM_OPTIONS': '/Users/wangbinhao/Desktop/jetbra/vmoptions/appcode.vmoptions','APP_REGION': 'CN','CLION_VM_OPTIONS': '/Users/wangbinhao/Desktop/jetbra/vmoptions/clion.vmoptions','COMMAND_MODE': 'unix2003','CONDA_DEFAULT_ENV': 'study','CONDA_EXE': '/opt/anaconda3/bin/conda','CONDA_PREFIX': '/opt/anaconda3/envs/study','CONDA_PROMPT_MODIFIER': '(study) ','CONDA_PYTHON_EXE': '/opt/anaconda3/bin/python','CONDA_SHLVL': '2','DATAGRIP_VM_OPTIONS': '/Users/wangbinhao/Desktop/jetbra/vmoptions/datagrip.vmoptions','DATASPELL_VM_OPTIONS': '/Users/wangbinhao/Desktop/jetbra/vmoptions/dataspell.vmoptions','DEVECOSTUDIO_VM_OPTIONS': '/Users/wangbinhao/Desktop/jetbra/vmoptions/devecostudio.vmoptions','ELECTRON_FORCE_IS_PACKAGED': 'true','GATEWAY_VM_OPTIONS': '/Users/wangbinhao/Desktop/jetbra/vmoptions/gateway.vmoptions','GOLAND_VM_OPTIONS': '/Users/wangbinhao/Desktop/jetbra/vmoptions/goland.vmoptions','GSETTINGS_SCHEMA_DIR': '/opt/anaconda3/envs/study/share/glib-2.0/schemas','HOME': '/Users/wangbinhao','ICUBE_APP_VERSION': '0.6.1','ICUBE_BUILD_TIME': '2025-06-05T11:06:41.678Z','ICUBE_BUILD_VERSION': '1.0.13856','ICUBE_CODEMAIN_SESSION': 'eb2e955f-9514-4dea-8718-8e26030dbc9a','ICUBE_ELECTRON_PATH': '/Applications/Trae CN.app/Contents/MacOS/Electron','ICUBE_ENABLE_MARSCODE_NLS': '1','ICUBE_IS_ELECTRON': 'true',
...'FORCE_COLOR': '1','CLICOLOR_FORCE': '1','PAGER': 'cat','GIT_PAGER': 'cat','MPLBACKEND': 'module://matplotlib_inline.backend_inline'}
# 使用 .items() 方法可以方便地同时获取变量名(键)和变量值,之前已经提过字典的items()方法,可以取出来键和值
# os.environ是可迭代对象for variable_name, value in os.environ.items():# 直接打印出变量名和对应的值print(f"{variable_name}={value}")# 你也可以选择性地打印总数
print(f"\n--- 总共检测到 {len(os.environ)} 个环境变量 ---")
APPCODE_VM_OPTIONS=/Users/wangbinhao/Desktop/jetbra/vmoptions/appcode.vmoptions
APP_REGION=CN
CLION_VM_OPTIONS=/Users/wangbinhao/Desktop/jetbra/vmoptions/clion.vmoptions
COMMAND_MODE=unix2003
CONDA_DEFAULT_ENV=study
CONDA_EXE=/opt/anaconda3/bin/conda
CONDA_PREFIX=/opt/anaconda3/envs/study
CONDA_PROMPT_MODIFIER=(study)
CONDA_PYTHON_EXE=/opt/anaconda3/bin/python
CONDA_SHLVL=2
DATAGRIP_VM_OPTIONS=/Users/wangbinhao/Desktop/jetbra/vmoptions/datagrip.vmoptions
DATASPELL_VM_OPTIONS=/Users/wangbinhao/Desktop/jetbra/vmoptions/dataspell.vmoptions
DEVECOSTUDIO_VM_OPTIONS=/Users/wangbinhao/Desktop/jetbra/vmoptions/devecostudio.vmoptions
ELECTRON_FORCE_IS_PACKAGED=true
GATEWAY_VM_OPTIONS=/Users/wangbinhao/Desktop/jetbra/vmoptions/gateway.vmoptions
GOLAND_VM_OPTIONS=/Users/wangbinhao/Desktop/jetbra/vmoptions/goland.vmoptions
GSETTINGS_SCHEMA_DIR=/opt/anaconda3/envs/study/share/glib-2.0/schemas
HOME=/Users/wangbinhao
ICUBE_APP_VERSION=0.6.1
ICUBE_BUILD_TIME=2025-06-05T11:06:41.678Z
ICUBE_BUILD_VERSION=1.0.13856
ICUBE_CODEMAIN_SESSION=eb2e955f-9514-4dea-8718-8e26030dbc9a
ICUBE_ELECTRON_PATH=/Applications/Trae CN.app/Contents/MacOS/Electron
ICUBE_ENABLE_MARSCODE_NLS=1
ICUBE_IS_ELECTRON=true
...
GIT_PAGER=cat
MPLBACKEND=module://matplotlib_inline.backend_inline--- 总共检测到 95 个环境变量 ---
4.目录树
os.walk()是python os模块中一个非常有用的函数,它用于遍历(或称“行走”)一个目录树。
核心功能:
os.walk(top, topdown=True, οnerrοr=None, followlinks=False)会为一个目录树生成文件名。对于树中的每个目录(包括top目录本身),它会yield(产生)一个包含三个元素的元组(tuple):
(dirpath, dirnames, filenames)
1.dirpath:一个字符串,表示当前正在访问的目录的路径。
2.dirnames:一个列表(list),包含了dirpath目录下所有子目录的名称(不包括.和..).
3.filenames:一个列表(list),包含了dirpath目录下所有非目录文件的名称。
示例目录结构:
假设你的start_directory(当前工作目录.)是my_project,其结构如下:
os.walk的遍历顺序及输出(模拟):
--- 开始遍历目录: my_project ---
当前访问目录 (dirpath): my_project
子目录列表 (dirnames): ['data', 'src'] # <--- 列出第一层子目录
文件列表 (filenames): ['main.py', 'README.md']
当前访问目录 (dirpath): my_project/data # <--- 深入到 data
子目录列表 (dirnames): ['processed', 'raw'] # <--- 列出 data 下的子目录
文件列表 (filenames): []
当前访问目录 (dirpath): my_project/data/processed # <--- 深入到 processed
子目录列表 (dirnames): []
文件列表 (filenames): []
当前访问目录 (dirpath): my_project/data/raw # <--- 回溯到 data,然后深入到 raw|
子目录列表 (dirnames): []
文件列表 (filenames): ['data1.csv']
当前访问目录 (dirpath): my_project/src # <--- 回溯到 my_project,然后深入到 src
子目录列表 (dirnames): ['models']
文件列表 (filenames): ['utils.py']
当前访问目录 (dirpath): my_project/src/models # <--- 深入到 models
子目录列表 (dirnames): []
文件列表 (filenames): ['model_a.py']
# 遍历结束
总结:os.walk首先会访问起始目录(my_project),然后它会选择第一个子目(data)并深入进去,访问data目录本身,然后继续深入它的子目录(processed -> raw)。只有当data分支下的所有内容都被访问完毕后,它才会回到my_project这一层,取访问下一个子目录(src),并对src分支重复深度优先的探索。
它不是按层级(先访问所有第一层,再访问所有第二层)进行的,而是按分支深度进行的。这种策略被称之为深度优先。
import osstart_directory = os.getcwd() # 假设这个目录在当前工作目录下print(f"--- 开始遍历目录: {start_directory} ---")for dirpath, dirnames, filenames in os.walk(start_directory):print(f" 当前访问目录 (dirpath): {dirpath}")print(f" 子目录列表 (dirnames): {dirnames}")print(f" 文件列表 (filenames): {filenames}")# # 你可以在这里对文件进行操作,比如打印完整路径# print(" 文件完整路径:")# for filename in filenames:# full_path = os.path.join(dirpath, filename)# print(f" - {full_path}")
--- 开始遍历目录: /Users/wangbinhao/Desktop/python学习 ---
当前访问目录 (dirpath): /Users/wangbinhao/Desktop/python学习
子目录列表 (dirnames): []
文件列表 (filenames): ['day24 元组和OS模块.ipynb', 'day22.ipynb', 'day9.ipynb', '.DS_Store', 'day19.ipynb', 'day8.ipynb', 'test.csv', 'Hypertension.csv', 'heart.csv', 'submission.csv', 'data.xlsx', 'day18.ipynb', 'data.csv', 'day14.ipynb', 'day16.ipynb', 'day12.ipynb', 'day1-3.ipynb', '测试.py', 'day6.ipynb', 'day4.ipynb', 'day10.ipynb', 'train.csv', 'day21 常见的降维算法.ipynb', 'day17.ipynb', 'day15.ipynb', 'day5.ipynb', 'day11.ipynb', 'day20 奇异值分解.ipynb', 'day23 机器学习流水线.ipynb', 'day13.ipynb', 'day7.ipynb']
总结
作业: 对自己电脑的不同文件夹利用今天学到的知识操作下,理解下os路径。
path = '/Users/wangbinhao/Desktop/毕业设计'
for dirpath, _, filenames in os.walk(path):for filename in filenames:print(os.path.join(dirpath, filename))
/Users/wangbinhao/Desktop/毕业设计/.DS_Store
/Users/wangbinhao/Desktop/毕业设计/基于SpringBoot技术的汽车维修系统.doc
/Users/wangbinhao/Desktop/毕业设计/基于SpringBoot技术的汽车维修管理系统.pdf
/Users/wangbinhao/Desktop/毕业设计/wash_car_vue/message.html
/Users/wangbinhao/Desktop/毕业设计/wash_car_vue/carManager.html
/Users/wangbinhao/Desktop/毕业设计/wash_car_vue/index.html
/Users/wangbinhao/Desktop/毕业设计/wash_car_vue/.DS_Store
/Users/wangbinhao/Desktop/毕业设计/wash_car_vue/afterSaleWorker.html
/Users/wangbinhao/Desktop/毕业设计/wash_car_vue/messageManager.html
/Users/wangbinhao/Desktop/毕业设计/wash_car_vue/washState.html
/Users/wangbinhao/Desktop/毕业设计/wash_car_vue/sales.html
/Users/wangbinhao/Desktop/毕业设计/wash_car_vue/login.html
/Users/wangbinhao/Desktop/毕业设计/wash_car_vue/workProgress.html
/Users/wangbinhao/Desktop/毕业设计/wash_car_vue/userInfo.html
/Users/wangbinhao/Desktop/毕业设计/wash_car_vue/salesManager.html
/Users/wangbinhao/Desktop/毕业设计/wash_car_vue/workerInfo.html
/Users/wangbinhao/Desktop/毕业设计/wash_car_vue/afterSale.html
/Users/wangbinhao/Desktop/毕业设计/wash_car_vue/workerManager.html
/Users/wangbinhao/Desktop/毕业设计/wash_car_vue/userManager.html
/Users/wangbinhao/Desktop/毕业设计/wash_car_vue/stationManager.html
/Users/wangbinhao/Desktop/毕业设计/wash_car_vue/css/public.css
/Users/wangbinhao/Desktop/毕业设计/wash_car_vue/css/index.css
/Users/wangbinhao/Desktop/毕业设计/wash_car_vue/images/login_bg.jpg
...
/Users/wangbinhao/Desktop/毕业设计/wash_car_springboot/src/main/java/com/southwind/service/impl/UserServiceImpl.java
/Users/wangbinhao/Desktop/毕业设计/wash_car_springboot/src/main/java/com/southwind/service/impl/StationServiceImpl.java
/Users/wangbinhao/Desktop/毕业设计/wash_car_springboot/src/main/java/com/southwind/service/impl/MenuServiceImpl.java
/Users/wangbinhao/Desktop/毕业设计/wash_car_springboot/src/main/java/com/southwind/service/impl/AdminServiceImpl.java
@浙大疏锦行