前言
喜欢摄影和拍摄剪辑的朋友们会有大量的素材，电脑SSD很快爆满真是个令人头大的问题。我们如何管理这些数据呢？
喜欢计算机的朋友们又想体验不同的开发环境，还想要尝试不同的开发路径：甚至想要到BL锁，BIOS，内核，系统等底层探索挖掘。但是又担心破坏系统导致文件丢失和蓝屏等一系列的问题。那么如何权衡和规划我们的环境搭建呢？
现在很多的游戏都有扫盘和HIT等反作弊系统。检测Root/越狱，文件完整校验，虚拟化检查等等。作为个人开发者往往担心自己开设虚拟机或者某个后台脚本会导致游戏账号误封。怎么样才能防止误封呢？
对于大数据专业的学生。大数据分布式系统，我们想要多层次学习和训练，怎么才能利用好手边的每一个CPU,GPU,SoC呢？？
想要同时兼顾住开发系统多元化切换，预防系统文件的崩溃变砖，又要兼顾日常生活和游戏。还要担心作为开发者的游戏账号误封。大数据相关还想做分布式的开发还要兼顾相关。我们可不可以鱼与熊掌兼得呢？
可以的，兄弟们
所以这篇文章我将以我的环境配置和数据管理为基础，向大家分享我的经验
核心的思路： 存储介质多元分布化，存储资源按使用热度分层化，系统环境按使用场景隔离化，核心数据按重要性多重备份化，刷机启动工具万能化，算力资源异构集群化。
分布存储策略：
我们的数据，可以采取不同方式不同地点进行存储：
- 电脑的SSD：每天会有大量的数据走PCIe连通硬盘,库库库的读写我们的硬盘，同时还有内存（RAM）等的高频访问。有时也会被临时征用为虚拟内存。
- 移动U盘：U盘只能做短期的数据存储和数据迁移使用的介质。强烈不建议个人作为长期存储介质使用。
- 移动硬盘：硬盘分为固态和机械。机械的物理架构更适合作为长期存储。固态的好处是读取的迅速性。这里我拉个表格区分：
| 对比项 | 机械硬盘（HDD） | 固态硬盘（SSD） |
|---|---|---|
| 存储介质 | 磁性的盘片加磁性涂层 | NAND闪存（SLC/MLC/TLC/QLC）(电荷存储单元，对应存储数量：1；2；3；4；单位：bit)（其擦写寿命逐步递减） |
| 寻址方式 | LBA → 磁头、柱面、扇区映射 | LBA → FTL映射 |
| 接口/总线 | SATA、SAS | SATA、SAS、PCIe（NVMe/AHCI） |
| 顺序读取 | 约 150–250 MB/s | SATA 约 550 MB/s；NVMeGen4 可达 7 GB/s 以上 |
| 顺序写入 | 和读取的速度差不多 | 受 SLC Cache/直连写入速度影响，掉速明显 |
| 4K 随机写入IOPS | 约 50–200 IOPS | 通常低于随机读，但受缓存和磨损均衡影响 |
| 写入放大 | 机械几乎没有放大 | 固态存在写入放大，FTL、GC、Wear Leveling 会放大实际写入 |
| 长期冷存储（不通电） | 相对稳定，但需防潮、防磁、防震 | 有漏电风险，高温环境下更明显，不建议长期闲置 |
核心存储硬件工作原理讲解：
对于机械硬盘：
硬盘的盘片数目由存储的容量决定，多个盘片叠加起来存储。底部通过高速电机驱动，转速可达7000多转。一个磁头臂有多个磁头组件，在盘片上下几纳米级别的距离。硬盘盘片按圆划分为几十万个轨道。轨道又分成多个扇区。扇区的结构是：
引导码(Preamble) ——> 地址码(Address) ——> 数据(Data) ——> 纠错码(ECC)
引导码用于记录该扇区起始位置和同步时钟。地址码用于记录数据位于哪个磁道，哪个扇区。每个扇区的Data大约能存储4kb左右。纠错码会验证数据是否正确。
数据均以二进制存储。存储形式是每一个磁场单元的磁场方向（永磁体）。一个磁场单元的大小约为(90 * 100 * 125 nm)，其存储的也就是1bit的数据。磁头通过感应单元磁场方向获取数据。 但是，数据并不是存储在磁场单元内部。不代表向上为1,向下为0.真实的是检测相反磁场单元之间的磁场。从而判断0或1
对于固态硬盘：
现代电脑的硬盘基本都是固态硬盘SSD，其常与DRAM（内存）搭配使用。固态硬盘也是存储二进制数据，不过不通过磁场，而是电子的运动实现。它的存储单元是电荷陷阱晶体管（早期的是浮栅晶体管），其由沟道，电荷陷阱，电介质，绝缘材料等构成。通过内部电荷来反映0与1。由于物理面积受限。大容量固态采用叠加电荷井的方式来扩展储存空间。他的访问速度相当的快（因为缺失了机械硬盘的物理运动）
对于移动和机载：
机载的硬盘固态/机械，直接连接主板，走SATA或者SAS或者M.2插槽，连接PCIe等高速通道，会更加的快速。移动的本质就是在硬盘外加装了硬盘盒和接口转换单元。将原本的SATA或者SAS或者M.2转换成USB等。
关于硬盘的LBA和FTL映射：
LBA是数据存储的逻辑块地址。FTL是闪存转换器。LBA是系统划定的存储地址，FTL会查询具体的物理地址。更新数据的时候找到新的物理地址写入，将旧的地址数据再废除掉，同时更新映射表。关于映射可以有： 块级 页级 混合 。
关于I/O和IOPS
I/O就是计算机和外部世界交换数据的操作的总称。拆开来看，就是I（Input），O(Output)。IOPS是来测试IO的，代表的是每S能完成多少次I/O。I/O决定了硬盘的读写性能，所以是我们重点关注的指标。
- 其他终端：我们的手机，我们的平板也当然也可以作为我们的存储介质。
- 云存储：如果有需要，当然可以考虑。不过从我的个人主观角度处发，我不喜欢利用云存储个人隐私数据。因为数据毕竟存储在外界，还存在数据的网络传输，有一定的风险。
个人数据，从根上讲，无非分为：
| 数据类型 | 解释 |
|---|---|
| 热数据 | 就是我们频繁使用的数据，这部分还是建议大家保留在开发环境当中，就是我们的电脑或者手机中 |
| 温数据 | 这些数据偶尔会需要，可能一两个月才会访问一次 |
| 冷数据 | 这些数据可能是我们拍摄了老久的照片，老久的项目文件，老久以前的OFFICE三件套等等。我们可能两三年都不会去看他，这些数据就是冷数据，存下就行，没必要让他们占据我们的SSD |
NOTE假设我们的电脑有1TB硬盘空间，8GB*2的内存（16GB）
硬盘系统性分盘和双系统策略
由于我们要兼顾生活和学习。所以同时具备Windows的生态和Linux的环境是很有必要的。
windows上面可以作为日常生活的主系统。注意分盘策略：（我的搭建经验，可以考虑）
C盘：系统盘，只用于存放系统相关文件，把用户使用的，下载，图片，视频等都调到其他盘。预留200GB即可（如果电脑本身ssd不大，可以考虑小一些）目的是为了防止使用数据和系统数据混在一起，而且系统盘满了会影响响应。
D盘：作为用户盘。我们可以设置好一些必要文件夹：Download——用于存放下载的软件的本体文件，全塞到这个文件夹下面。 ext——我们可以把所有软件的快捷方式放到这个文件夹，方便打开使用软件。 虚拟机，图片，视频，文件，游戏等也是建立文件夹归档。这样理下来能清晰些。
我给Ubuntu划分了200GB的磁盘空间，作为第二个系统，充当日常学习的主要系统： 这里建议大家采用四分区挂载策略：
EFI：这个分区是UEFI启动模式下的引导分区，引导进入Windows/Ubuntu系统的。一般我们windows设置好后会有EFI分区，所以Ubuntu不需要单独设置，我们只需要让他保持/boot/efi就行。/：根分区。Linux的理念就是一切皆文件。所以根分区就是这棵大树的树根！！！ 除了boot,/,swap外的剩余空间全给他。boot：如果说根分区是树根，存放Ubuntu核心系统文件和我们的使用数据。那么BOOT就是Linux内核的小房间。里面放置的是Linux内核，initramfs,GRUB引导文件。一般设置1-2GB即可swap：这个是交换分区，其设置的等于物理内存即可，作为虚拟内存，休眠或内存溢出的缓冲。
安装完Ubuntu前，要保证启动菜单正确识别，所以要在BIOS设置好。通常需要：
- 关闭 Secure Boot(安全启动)：因为Ubuntu虽然支持安全启动，但是第三方的一些驱动像英伟达的显卡，网卡的驱动可能无法正常加载。可以先关，再装，再开。
- 确认下UEFI的模式：要保证走URFI也就是UEFI Only / UEFI First 这样windows和ubuntu启动时都走UEFI。
- 调整启动顺序：插上U盘重启进入BIOS，注意设置U盘为第一启动选项后开机。装完调回即可。
启动盘的制作与选择
IMPORTANT装机盘可以选择一个U盘，关于这个装机的U盘，我有个很好的推荐：
铛铛铛铛————那就是Ventoy 如果要在刷机启动U盘界找一个瑞士军刀，那么，Ventoy就是最最最最最最最最最最牛的瑞士军刀！！！！！！！！！！
他刷完（格式化）后，还能当正常的U盘使用！存放资料都是可以的。然后不其需要强行把ISO系统镜像烧录再U盘上，也就意味着我们直接把ISO放进去就行。还可以放多个系统，多个发行版！！！！
这里列举一些我推荐的系统镜像和工具：
| ISO/工具系统 | 解释 |
|---|---|
| Windows11 | 方便之后重装Windows系统 |
| Ubuntu 22.04 | 存一个老版本的，老版本适配性可能更好，Bug（臭虫）更少 |
| Ubuntu 24.04 | 存一个稳定版本 |
| PE | PE工具系统真是太好用了。他是运行在内存里的迷你Windows系统。当我们的WIndows出现故障的时候，进入PE系统，可以完善修复。里面内置许许多多的工具。 这样我们不需要强制刷机，也能保留Windows核心数据 |
对于冷数据的存储。我们直接购置一个移动硬盘。不要选择U盘，寿命低，存储不稳定，擦写次数和存储量还小。推荐机械存储冷数据，固态存储温数据，然后电脑里机载的存放热数据。
我们可以将照片，视频，作业文件等不常用的归纳到外置硬盘，不占用电脑的磁盘空间。
NOTE这里说一下数据备份和安全冗余，也就是数据容灾策略
第三方存储空间利用下的数据容灾策略
在企业上，人们往往采用3-2-1存储策略来进行数据安全备份：拆开来讲：就是3份数据副本（备份3次），2种不同存储介质，1份异地备份。企业最最最核心的数据，是企业的数据库。代码rm -rf 了可以重写，但是数据库没了，就真的崩了！ 所以我们才会经常性听到：“删库跑路”哈哈哈哈，而不是“删代码跑路”。
我们的容灾可以建立在我们能够利用到的所有存储资源：
电脑ssd存储热数据，还有我们的项目代码，然后定期压缩备份到移动硬盘。我们可以根据我们对我们的数据重视程度恰当选择备份几份：
我的项目代码在Ubuntu有一份，Windows有一份，移动硬盘也有一份。
我的核心照片：在移动硬盘有一份，在平板电脑有一份，在手机有一份。
等等等
关于Ubuntu虚拟机
虚拟机可以选择性安装。他的好处有：
- 这是一个虚拟沙盒，可以隔离环境。里面可以搞破坏性操作进行底层的学习。比方学习内核，学习系统的时候总是担心搞崩变砖。我们直接一个快照回滚。
- 可以多开虚拟机模拟练习服务器分布式集群，对大数据后期学习Hadoop,hive,spark那些很有帮助。分布式大数据存储，多集群任务等等。
- 如果是Windows装的虚拟机，可以更加灵活的体验到Linux与Windows的便捷跨系统协同（取长补短）win的软件资源丰富，linux的冗余低，命令行强大，还有剪贴板共享和共享文件夹等等。开发效率会大幅提高。
唯一的不足就是体验不上原生Linux的干净爽感。不过无伤大雅。
有一些虚拟机或者虚拟化技术向大家推荐：
| 虚拟 | 选择好处 |
|---|---|
| WSL2 | 在Windows里面快速体验命令行，或者有Docker可以选择，他更加的轻量和快捷 |
| VMware Workstation Pro | 他在跑大型数据库，编译代码的时候会比VBOX快。虚拟化更加彻底，I/O读写更佳 |
| VirtualBox | 支持多快照树状分支，这个有点类似于GIT，不过是快照 |
关于服务器
服务器不是刚需，但是有了它我们可以训练真实的企业开发环境，是实战化的配置。如果只是作为云存储，不进行运维，开发，学习。那么简单的云磁盘就可以。这也是个存储的好选择。
预防游戏反作弊系统对开发环境的误封
我们已经做了双系统加虚拟机的布局。这个布局下，开发通常再Ubuntu进行。所以Windows算是较为干净的生活区。要防止误封我们要严厉禁止在有封禁机制的游戏的过程中开虚拟机。同时尽量性关闭主机的虚拟化设置：
- 关闭Hyper-V虚拟化层 以管理员身份运行CMD终端：
#cmd:bcdedit /set hypervisorlaunchtype off随后重启机子。通过：bcdedit /enum | findstr hypervisorlaunchtype 验证是否关闭
- 在控制面板关闭Windows的虚拟化功能：
- Hyper-v 项目
- Windows虚拟机监控程序平台
- WSL2
- Windows沙盒
- Windows Defender 应用程序防护
- BIOS关闭 Intel VT-x / Intel VT-d / AMD-V
做好后重启电脑就可以最大程度避免虚拟化带来的误封，同时我们鼠标宏那些py项目代码又不位于Windows磁盘分区内。这样误封的概率会很低，嗯嗯。
关于个人终端的异构集群，搭建边缘算力中心！
这个想法很有趣。也是我近期一直在摸索的。就是想尽办法用尽我们的每一个CPU,GPU,SoC，每一个算力单位。
本质上来讲这个想法可以归纳为边缘计算的极致形态——将算力下沉到我们的每一个拥有算力的设备。
为了实现这一目标，我们将要挑战跨平台兼容（ARM - X86）,网络连接的稳定性。
通过搭建，我们可以实现 分布式计算 任务队列 存储同步 等等。可谓终极玩机！！进阶！
相关内容我会在后续单独写一篇文章讲述和分享经验。目前还在探索阶段。大家敬请期待。
总结
Windows主游戏生活，分两个磁盘C & D,C只作为系统盘，D作为用户盘，D内做好文件归档。Ubuntu双系统作为开发系统，体验原生LinuxWindows上开Ubuntu虚拟机，体验分布式集群和内核/系统研究Ventoy作为启动盘刷盘工具，可以做一个万能U盘移动硬盘做长期冷数据存储充分利用电脑SSD，移动硬盘，手机，平板的存储单元。做到重要核心数据多存储多备份的原则感谢大家的观看！后续还会发布新的文章。
陕公网安备61020002000144号