Nextcloud优化方案-文件过多加载-TryBlog

扁平化存储
扁平化存储 指的是一种不包含或几乎不包含子文件夹层次结构的数据组织方式。所有文件，无论其类型、主题或创建日期，都直接存放在同一个顶级目录（文件夹）下。
而在Nextcloud中，使用扁平化存储会导致每次加载时服务器负载压力过大，引起移动、复制、上传文件与访问该文件夹时耗费大量时间并耗费大量内存。

为什么会出现这种情况？

人们选择或最终形成扁平化存储结构，通常有以下几个原因：

简单直接：对于不需要复杂分类的小型项目或个人使用，把所有东西放在一个地方查找起来似乎更简单。
来自应用程序的自动生成：某些程序或脚本（如数据抓取工具、监控日志生成器、某些相机或扫描仪软件）可能会自动将大量输出文件直接保存到单一目录。
缺乏前期规划：随着时间推移，用户不断保存文件但从未创建子文件夹进行分类，最终导致一个文件夹变得异常臃肿。

扁平化存储的严重缺点

虽然听起来简单，但将数万个文件放在一个文件夹中会带来显著的性能和管理问题，这通常被认为是一种非常糟糕的做法：

文件系统压力
操作系统UI卡顿

难以查找
容易命名冲突
备份和维护困难

本人出现的问题起因是在同步手机的截图、照片与其他文件时出现服务器负载过高的现象，经排查过后是因为扁平化存储导致的严重卡顿。

为了避免该情况出现，应使文件能够有序分类。

解决办法：使用层次化存储

对尚未同步的文件：在Nextcloud Android App中，自动上传文件夹开启 使用子文件夹 ，依据喜好更改 子文件夹选项 。（本人需求精细到 年/月 ）
对已经同步的文件：

在Linux服务器上，通过命令行快速、安全地按年月分隔数万文件的操作方案。使用一个脚本，遍历目标目录下的每一个文件，根据其修改时间（或创建时间，但修改时间更可靠）创建对应的 年/月 目录结构，然后将文件移动到相应的目录中。

重要警告：在操作前务必备份！

前期工作：

安装 exiftool：脚本中策略2依赖于一个强大的元数据工具 exiftool。如果系统上没有，需要先安装：

# Ubuntu/Debian
sudo apt update && sudo apt install exiftool

# CentOS/RHEL/Fedora
sudo yum install exiftool
# 或
sudo dnf install exiftool

创建脚本文件 organize_files.sh：注意修改 TARGET_DIR 为目的路径

#!/bin/bash

# 指定需要整理的目标目录
TARGET_DIR="your_target_dir"

# --- 日期有效性验证 ---
is_valid_year_month() {
    local ym="$1"
    # 基本格式检查：必须是 YYYY-MM 格式
    if [[ ! $ym =~ ^[0-9]{4}-[0-9]{2}$ ]]; then
        return 1 # 无效
    fi

    # 拆分年月
    local year=${ym%-*}
    local month=${ym#*-}

    # --- 去除月份的前导零，防止八进制解释 ---
    # 例如 "09" -> "9", "10" -> "10"
    month=${month#0}
    # 如果去除后为空（原来是00），则设为0，后续检查会失败
    month=${month:-0}

    # 合理性检查
    local current_year=$(date +%Y)
    # 现在 month 是去除了前导零的十进制数，可以安全比较
    if (( year < 1990 || year > current_year + 1 )); then
        return 1 # 无效
    fi

    if (( month < 1 || month > 12 )); then
        return 1 # 无效
    fi

    return 0 # 有效
}
# --- 验证函数结束 ---

# 进入目标目录
cd "$TARGET_DIR" || exit

# 开始遍历当前目录下的所有文件
find . -maxdepth 1 -type f -print0 | while IFS= read -r -d '' file; do
    # 初始化变量
    year_month=""

    # 策略1: 优先尝试从文件名中提取日期
    # 例1: 匹配 myfile_2023-10-30.txt 或 2023-10-30_myfile.jpg
    candidate=$(echo "$file" | grep -Eo '[0-9]{4}-[0-9]{2}-[0-9]{2}' | head -n 1 | cut -d'-' -f1-2)
    # --- 在赋值前进行验证 ---
    if [[ -n "$candidate" ]] && is_valid_year_month "$candidate"; then
        year_month="$candidate"
    fi

    # 如果上一种没匹配到有效的，尝试例2: 匹配 IMG_20231030_123456.jpg
    if [[ -z "$year_month" ]]; then
        candidate=$(echo "$file" | grep -Eo '[0-9]{8}' | head -n 1 | sed -E 's/^([0-9]{4})([0-9]{2}).*/\1-\2/')
        if [[ -n "$candidate" ]] && is_valid_year_month "$candidate"; then
            year_month="$candidate"
        fi
    fi

    # 策略2: 使用Exif信息
    if [[ -z "$year_month" ]]; then
        if command -v exiftool &> /dev/null && [[ "$file" =~ \.(jpg|jpeg|png|heic|cr2|arw|mp4|mov|avi)$ ]]; then
            candidate=$(exiftool -d "%Y-%m" -DateTimeOriginal -CreateDate -CreateDate -p "\${value}" "$file" 2>/dev/null | head -n 1)
            if [[ -n "$candidate" ]] && is_valid_year_month "$candidate"; then
                year_month="$candidate"
            fi
        fi
    fi

    # 策略3: 作为最后的手段，使用文件的修改时间（mtime）
    if [[ -z "$year_month" ]]; then
        candidate=$(stat -c "%y" "$file" | cut -d'-' -f1-2)
        if [[ -n "$candidate" ]] && is_valid_year_month "$candidate"; then
            year_month="$candidate"
            echo "警告: 使用系统时间作为后备方案: $file -> $year_month"
        fi
    fi

    # 如果成功获取到有效的年月信息
    if [[ -n "$year_month" ]]; then
        mkdir -p "$year_month"
        echo "Moving: $file -> $year_month/" 
        # mv -n -- "$file" "$year_month/"    # 实际执行时取消注释
    else
        # --- 处理无法分类的文件 ---
        echo "错误: 无法提取有效日期，文件将被放入 '未知日期' 文件夹: $file"
        mkdir -p "未知日期"
        echo "Moving: $file -> 未知日期/"
        # mv -n -- "$file" "未知日期/"      # 实际执行时取消注释
    fi
done

echo "文件整理完成！"

操作步骤：

备份！备份！备份！ （重要的事情说三遍）
登录您的服务器，切换到有权限操作Nextcloud数据的用户（通常是www-data或nginx，但可能需要sudo权限）。
```
sudo -u www-data bash   # 切换到Web用户，避免权限问题
```
创建脚本 organize_files.sh，将上面的方案A脚本内容粘贴进去。务必修改 TARGET_DIR 变量为您的真实目录路径。
授予脚本执行权限：
```
chmod +x organize_files.sh
```
试运行：这是最关键的安全检查步骤。脚本中的 mv 命令被注释了，在注释状态下试运行一遍。
```
./organize_files.sh
```
请仔细检查终端输出的移动路径是否正确，是否所有文件都被正确分类到了 2023-01, 2023-02 这样的文件夹中。如果有任何错误，修改脚本直到满意为止。
正式运行：确认试运行无误后，编辑脚本文件，取消注释 mv 行。
```
......
mv -n -- "$file" "$year_month/"
......
mv -n -- "$file" "未知日期/"
......
```
保存后，再次运行脚本：
```
./organize_files.sh
```
现在文件开始被真实移动了。-n 参数可以防止覆盖已存在的同名文件（虽然概率极低）。

通知Nextcloud更新数据库：脚本运行结束后，文件在磁盘上已经整理好了，但Nextcloud的数据库完全不知道发生了什么，它会认为所有文件都“丢失”了。
必须在Nextcloud容器内或安装目录下执行扫描命令：

# 进入Nextcloud容器（如果使用Docker）
docker exec -it your_nextcloud_container_name php occ files:scan --all
# 或者直接在主机上（如果传统安装）
sudo -u www-data php /var/www/nextcloud/occ files:scan --all

注意：扫描全部文件可能很慢。可以只扫描受影响的用户，这样更快：

# 将 username 替换为文件所属用户的用户名
sudo -u www-data php /var/www/nextcloud/occ files:scan --path="/username/files/你的大目录名称"

执行后

检查结果：登录Nextcloud网页端，你会发现原来的超大目录变成了一个包含多个 年-月 子目录的文件夹。
性能提升：现在点击任何一个子目录，通常只有几百或几千个文件，加载速度会得到数量级的提升，卡顿问题将彻底解决。

结尾

文件被整理后将会对性能有着及其重要的优化，若有不同需求，可酌情更改脚本文件。

目录CONTENT

Nextcloud优化方案-文件过多加载

扁平化存储

为什么会出现这种情况？

扁平化存储的严重缺点

解决办法：使用层次化存储

前期工作：

操作步骤：

执行后

结尾

评论区