1
#!/bin/bash
2
# 使用exec改变整个脚本的stdout
3

4
# 之后的所有echo都会写入log.txt，不需要每行都追加>>
5
exec >> /var/log/app.log
6

7
echo "第1条日志"
8
echo "第2条日志"
9
echo "第3条日志"
10

11
# 恢复stdout到屏幕
12
exec >> /dev/tty
13

14
echo "这条信息显示在屏幕上"

1
#!/bin/bash
2
# 同时处理多个输入文件
3

4
# 打开file1作为文件描述符3用于读取
5
exec 3< file1.txt
6

7
# 打开file2作为文件描述符4用于写入
8
exec 4> file2.txt
9

10
# 逐行读取file1并写入file2
11
while read -u 3 line
12
do
13
    echo "处理：$line" >&4
14
done
15

16
# 关闭文件描述符
17
exec 3<&-
18
exec 4>&-

1
#!/bin/bash
2
# 每30秒检查一次系统状态，超过阈值时告警
3

4
while true
5
do
6
    # 监控链：获取系统状态 -> 解析关键指标 -> 判断阈值 -> 告警
7
    uptime | \
8
        awk '{
9
            # 提取负载值
10
            load = $(NF-2);
11
            cores = 4;  # 假设4核CPU
12
            if (load/cores > 0.8) {
13
                print "ALERT: 系统负载过高 - " load
14
            } else {
15
                print "OK: 系统负载正常 - " load
16
            }
17
        }' | \
18
        while read status
19
        do
20
            echo "[$(date '+%H:%M:%S')] $status"
21
        done
22

23
    sleep 30
24
done

1
#!/bin/bash
2
# 管道中如果某个命令失败，整个管道不会自动停止，需要特别注意
3

4
# 不安全的做法：如果tar失败，gzip仍会继续
5
tar -czf /tmp/backup.tar /data | gzip -9 > /tmp/backup.tar.gz
6

7
# 安全做法1：检查管道中每个命令的返回值
8
tar -czf /tmp/backup.tar /data | gzip -9 > /tmp/backup.tar.gz
9
if [ ${PIPESTATUS[0]} -ne 0 ] || [ ${PIPESTATUS[1]} -ne 0 ]
10
then
11
    echo "备份失败"
12
    exit 1
13
fi
14

15
# 安全做法2：启用pipefail，管道中任何命令失败都会导致整个管道失败
16
set -o pipefail
17
tar -czf /tmp/backup.tar /data | gzip -9 > /tmp/backup.tar.gz
18
if [ $? -ne 0 ]
19
then
20
    echo "备份失败"
21
    exit 1
22
fi

1
#!/bin/bash
2
# 生成包含动态变量的配置文件
3

4
APP_NAME="MyApp"
5
APP_VERSION="1.0"
6
BUILD_DATE=$(date '+%Y-%m-%d')
7
CURRENT_USER=$(whoami)
8

9
cat << EOF > /tmp/app_info.txt
10
应用名称：$APP_NAME
11
版本：$APP_VERSION
12
编译日期：$BUILD_DATE
13
编译者：$CURRENT_USER
14
编译时间戳：$(date +%s)
15
EOF
16

17
# 文件内容会包含变量值和命令执行结果
18
cat /tmp/app_info.txt

1
#!/bin/bash
2
# 当需要保留$符号时（如生成Shell脚本或正则表达式）
3

4
cat << 'EOF' > /tmp/script_template.sh
5
#!/bin/bash
6
# 这是一个模板脚本，$1、$2等不会被替换
7

8
echo "第一个参数是：$1"
9
echo "所有参数是：$@"
10

11
# 这里的$变量会按字面保存，不会替换
12
EOF
13

14
# 查看文件，$变量没有被替换
15
cat /tmp/script_template.sh

1
#!/bin/bash
2
# 使用<<-允许缩进，提高代码可读性
3

4
if [ true ]
5
then
6
    cat <<- EOF > /tmp/indented.conf
7
    # 缩进的配置文件
8
    server {
9
        listen 80;
10
        server_name example.com;
11
    }
12
    EOF
13
fi
14

15
# 注意：只有Tab缩进有效，空格缩进不行
16
# 文件中的前导Tab会被移除

1
#!/bin/bash
2
# 多个Here Document追加到同一文件
3

4
# 第一段
5
cat << EOF >> /tmp/combined.txt
6
[section1]
7
key1=value1
8
EOF
9

10
# 第二段
11
cat << EOF >> /tmp/combined.txt
12
[section2]
13
key2=value2
14
EOF
15

16
# 文件现在包含两段内容
17
cat /tmp/combined.txt

1
#!/bin/bash
2
# 根据参数自动生成Nginx虚拟主机配置
3

4
generate_nginx_vhost() {
5
    local domain=$1
6
    local proxy_pass=${2:-http://localhost:8080}
7
    local config_file="/etc/nginx/sites-available/$domain.conf"
8

9
    # 生成配置文件
10
    cat << EOF > "$config_file"
11
# Nginx虚拟主机配置 - $domain
12
# 生成时间：$(date '+%Y-%m-%d %H:%M:%S')
13

14
server {
15
    listen 80;
16
    server_name $domain www.$domain;
17

18
    access_log /var/log/nginx/$domain.access.log;
19
    error_log /var/log/nginx/$domain.error.log;
20

21
    location / {
22
        proxy_pass $proxy_pass;
23
        proxy_set_header Host \$host;
24
        proxy_set_header X-Real-IP \$remote_addr;
25
        proxy_set_header X-Forwarded-For \$proxy_add_x_forwarded_for;
26
    }
27
}
28
EOF
29

30
    echo "虚拟主机配置已生成：$config_file"
31

32
    # 验证配置
33
    nginx -t -c "$config_file" 2>&1 | grep "successful" && \
34
        ln -sf "$config_file" "/etc/nginx/sites-enabled/$domain.conf" && \
35
        systemctl reload nginx
36
}
37

38
# 调用
39
generate_nginx_vhost "api.example.com" "http://localhost:3000"
40
generate_nginx_vhost "web.example.com" "http://localhost:3001"

1
#!/bin/bash
2
# 为新应用自动生成数据库初始化SQL脚本
3

4
generate_db_init() {
5
    local db_name=$1
6
    local db_user=$2
7
    local sql_file="/tmp/${db_name}_init.sql"
8

9
    # 生成SQL脚本
10
    cat << 'EOF' > "$sql_file"
11
-- 数据库初始化脚本
12
-- 生成时间：DATE_PLACEHOLDER
13
-- 数据库：DB_NAME_PLACEHOLDER
14

15
CREATE DATABASE IF NOT EXISTS DB_NAME_PLACEHOLDER;
16
USE DB_NAME_PLACEHOLDER;
17

18
-- 创建用户表
19
CREATE TABLE users (
20
    id INT PRIMARY KEY AUTO_INCREMENT,
21
    username VARCHAR(50) NOT NULL UNIQUE,
22
    email VARCHAR(100) NOT NULL,
23
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
24
    INDEX idx_username (username)
25
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
26

27
-- 创建日志表
28
CREATE TABLE logs (
29
    id INT PRIMARY KEY AUTO_INCREMENT,
30
    user_id INT,
31
    action VARCHAR(100),
32
    timestamp TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
33
    FOREIGN KEY (user_id) REFERENCES users(id),
34
    INDEX idx_timestamp (timestamp)
35
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
36

37
-- 创建数据库用户
38
CREATE USER IF NOT EXISTS 'DB_USER_PLACEHOLDER'@'localhost' IDENTIFIED BY 'PASSWORD_PLACEHOLDER';
39
GRANT ALL PRIVILEGES ON DB_NAME_PLACEHOLDER.* TO 'DB_USER_PLACEHOLDER'@'localhost';
40
FLUSH PRIVILEGES;
41
EOF
42

43
    # 替换占位符
44
    sed -i "s/DATE_PLACEHOLDER/$(date '+%Y-%m-%d %H:%M:%S')/g" "$sql_file"
45
    sed -i "s/DB_NAME_PLACEHOLDER/$db_name/g" "$sql_file"
46
    sed -i "s/DB_USER_PLACEHOLDER/$db_user/g" "$sql_file"
47

48
    echo "SQL初始化脚本已生成：$sql_file"
49
    cat "$sql_file"
50
}
51

52
# 调用
53
generate_db_init "myapp" "appuser"

1
#!/bin/bash
2
# 根据配置生成监控告警脚本
3

4
generate_monitor_script() {
5
    local service_name=$1
6
    local check_interval=$2
7
    local script_file="/usr/local/bin/monitor_${service_name}.sh"
8

9
    cat << 'EOF' > "$script_file"
10
#!/bin/bash
11
# 自动生成的监控脚本
12
# 服务名：SERVICE_NAME_PLACEHOLDER
13
# 检查间隔：CHECK_INTERVAL_PLACEHOLDER秒
14

15
SERVICE_NAME="SERVICE_NAME_PLACEHOLDER"
16
CHECK_INTERVAL=CHECK_INTERVAL_PLACEHOLDER
17
LOG_FILE="/var/log/monitor_${SERVICE_NAME}.log"
18
ALERT_EMAIL="admin@company.com"
19

20
while true
21
do
22
    # 检查服务是否运行
23
    if systemctl is-active --quiet $SERVICE_NAME
24
    then
25
        status="OK"
26
        echo "[$(date '+%Y-%m-%d %H:%M:%S')] $SERVICE_NAME 运行正常" >> $LOG_FILE
27
    else
28
        status="CRITICAL"
29
        echo "[$(date '+%Y-%m-%d %H:%M:%S')] $SERVICE_NAME 已停止，正在重启..." >> $LOG_FILE
30

31
        # 尝试重启
32
        systemctl restart $SERVICE_NAME
33
        sleep 2
34

35
        if ! systemctl is-active --quiet $SERVICE_NAME
36
        then
37
            echo "重启失败，发送告警邮件" >> $LOG_FILE
38
            echo "$SERVICE_NAME 服务已停止且重启失败，请立即处理" | \
39
                mail -s "[$status] $SERVICE_NAME 服务告警" $ALERT_EMAIL
40
        fi
41
    fi
42

43
    sleep $CHECK_INTERVAL
44
done
45
EOF
46

47
    chmod +x "$script_file"
48

49
    # 替换占位符
50
    sed -i "s/SERVICE_NAME_PLACEHOLDER/$service_name/g" "$script_file"
51
    sed -i "s/CHECK_INTERVAL_PLACEHOLDER/$check_interval/g" "$script_file"
52

53
    echo "监控脚本已生成：$script_file"
54
}
55

56
# 调用
57
generate_monitor_script "nginx" 30
58
generate_monitor_script "mysql" 60

1
#!/bin/bash
2
# 生成内容后直接管道处理，无需临时文件
3

4
# 需求：生成日志分析报告，统计日志中的关键信息
5

6
cat << 'EOF' | bash
7
# 这个脚本块被作为stdin传给bash执行
8

9
for i in {1..5}
10
do
11
    echo "执行任务 $i"
12
done
13

14
echo "所有任务完成"
15
EOF
16

17
# 实战应用：生成并执行初始化脚本
18
cat << 'EOF' | /bin/bash
19
#!/bin/bash
20
# 初始化脚本
21

22
echo "正在初始化系统..."
23
apt-get update
24
apt-get install -y nginx mysql-server
25

26
echo "系统初始化完成"
27
EOF
28

29
# 生成内容后立即通过管道处理
30
cat << 'EOF' | awk '{print NR, $0}'
31
第一行内容
32
第二行内容
33
第三行内容
34
EOF
35
# 输出：
36
# 1 第一行内容
37
# 2 第二行内容
38
# 3 第三行内容

1
#!/bin/bash
2
# 实战案例：大规模日志压缩系统
3

4
LOG_DIR="/var/log/apps"
5
ARCHIVE_DIR="/var/log/archive"
6
DAYS_OLD=7
7

8
echo "开始日志压缩流程..."
9

10
# 步骤1：找出7天前的日志文件
11
# 步骤2：压缩它们（并行处理，提高效率）
12
# 步骤3：移动到归档目录
13
# 步骤4：验证完整性
14

15
find "$LOG_DIR" \
16
    -type f \
17
    -name "*.log" \
18
    -mtime +$DAYS_OLD \
19
    -print0 | \
20
xargs -0 -P 8 -n 20 bash -c '
21
    for file in "$@"
22
    do
23
        # 压缩文件
24
        gzip "$file"
25

26
        # 计算哈希值用于验证
27
        echo "$(md5sum "${file}.gz")" >> /tmp/compressed_files.md5
28

29
        # 移动到归档目录
30
        mv "${file}.gz" "$ARCHIVE_DIR/"
31

32
        echo "已处理：${file}"
33
    done
34
' _
35

36
# 验证所有文件
37
echo "验证压缩文件完整性..."
38
md5sum -c /tmp/compressed_files.md5
39

40
echo "日志压缩完成"

1
#!/bin/bash
2
# 使用xargs并发执行代码静态分析
3

4
PROJECT_DIR="/home/project"
5
REPORT_DIR="/tmp/code_analysis"
6

7
mkdir -p "$REPORT_DIR"
8

9
echo "开始代码扫描..."
10

11
# 并发执行SonarQube扫描
12
find "$PROJECT_DIR" \
13
    -name "pom.xml" \
14
    -print0 | \
15
xargs -0 -P 4 -I {} bash -c '
16
    project_dir=$(dirname {})
17
    project_name=$(basename $project_dir)
18

19
    echo "正在扫描：$project_name"
20

21
    # 执行SonarQube分析
22
    cd "$project_dir"
23
    mvn clean sonar:sonar \
24
        -Dsonar.projectName="$project_name" \
25
        -Dsonar.projectKey="$project_name" \
26
        > "$REPORT_DIR/${project_name}.log" 2>&1
27

28
    echo "$project_name 扫描完成"
29
'
30

31
echo "所有项目扫描完成"

1
#!/bin/bash
2
# 完整的日志分析告警系统
3
# 综合应用：重定向、管道、Here Document、xargs
4

5
set -o pipefail
6

7
# ============ 配置 ============
8
APP_LOG="/var/log/application.log"
9
TEMP_DIR="/tmp/log_analysis"
10
REPORT_FILE="$TEMP_DIR/daily_report.html"
11
ALERT_THRESHOLD=100
12
ALERT_EMAIL="admin@company.com"
13

14
# ============ 初始化 ============
15
mkdir -p "$TEMP_DIR"
16

17
# ============ 函数定义 ============
18

19
# 生成HTML报告
20
generate_html_report() {
21
    local total_errors=$1
22
    local error_types=$2
23
    local top_ips=$3
24

25
    cat << EOF > "$REPORT_FILE"
26
<!DOCTYPE html>
27
<html>
28
<head>
29
    <title>日志分析报告 - $(date '+%Y-%m-%d')</title>
30
    <meta charset="UTF-8">
31
    <style>
32
        body { font-family: Arial; margin: 20px; }
33
        table { border-collapse: collapse; width: 100%; }
34
        th, td { border: 1px solid #ddd; padding: 8px; text-align: left; }
35
        th { background-color: #4CAF50; color: white; }
36
        .error { color: red; }
37
        .warning { color: orange; }
38
    </style>
39
</head>
40
<body>
41
    <h1>日志分析报告</h1>
42
    <p>生成时间：$(date '+%Y-%m-%d %H:%M:%S')</p>
43

44
    <h2>错误统计</h2>
45
    <p class="error">总错误数：$total_errors</p>
46

47
    <h2>错误类型分布</h2>
48
    <table>
49
        <tr><th>错误类型</th><th>数量</th></tr>
50
        $error_types
51
    </table>
52

53
    <h2>访问频率最高的IP</h2>
54
    <table>
55
        <tr><th>IP地址</th><th>访问次数</th></tr>
56
        $top_ips
57
    </table>
58
</body>
59
</html>
60
EOF
61
}
62

63
# ============ 主处理流程 ============
64

65
echo "[$(date '+%Y-%m-%d %H:%M:%S')] 开始日志分析..."
66

67
# 第一步：提取错误日志
68
echo "第一步：提取错误日志..."
69
cat "$APP_LOG" | \
70
    grep -E "ERROR|CRITICAL" | \
71
    tee "$TEMP_DIR/errors.log" | \
72
    wc -l > "$TEMP_DIR/error_count.txt"
73

74
total_errors=$(cat "$TEMP_DIR/error_count.txt")
75
echo "发现 $total_errors 条错误日志"
76

77
# 第二步：统计错误类型
78
echo "第二步：统计错误类型..."
79
error_types=$(cat "$TEMP_DIR/errors.log" | \
80
    awk '{print $NF}' | \
81
    sort | uniq -c | sort -rn | \
82
    head -10 | \
83
    awk '{print "<tr><td>" $2 "</td><td>" $1 "</td></tr>"}' | \
84
    tr '\n' ' ')
85

86
# 第三步：统计IP访问频率
87
echo "第三步：统计访问IP..."
88
top_ips=$(cat "$APP_LOG" | \
89
    awk '{print $1}' | \
90
    sort | uniq -c | sort -rn | \
91
    head -5 | \
92
    awk '{print "<tr><td>" $2 "</td><td>" $1 "</td></tr>"}' | \
93
    tr '\n' ' ')
94

95
# 第四步：生成HTML报告
96
echo "第四步：生成报告..."
97
generate_html_report "$total_errors" "$error_types" "$top_ips"
98

99
# 第五步：检查告警条件
100
echo "第五步：检查告警条件..."
101
if [ $total_errors -gt $ALERT_THRESHOLD ]
102
then
103
    echo "警告：错误数量超过阈值（$total_errors > $ALERT_THRESHOLD）"
104

105
    # 生成告警邮件内容
106
    cat << EOF | mail -s "日志告警：错误数量过多" "$ALERT_EMAIL"
107

108
日志分析告警
109
错误日期：$(date '+%Y-%m-%d')
110
错误总数：$total_errors（阈值：$ALERT_THRESHOLD）
111
详细报告已保存到：$REPORT_FILE
112

113
请及时处理。
114

115
EOF
116
fi
117

118
echo "[$(date '+%Y-%m-%d %H:%M:%S')] 日志分析完成"

1
#!/bin/bash
2
# 实际场景：处理10000+个上传文件，进行转码、扫毒、归档
3
# 展示xargs大批量操作的优势
4

5
set -o pipefail
6

7
UPLOAD_DIR="/data/uploads"
8
PROCESSED_DIR="/data/processed"
9
ARCHIVE_DIR="/data/archive"
10
TEMP_DIR="/tmp/file_process"
11
LOG_FILE="$TEMP_DIR/process.log"
12

13
mkdir -p "$PROCESSED_DIR" "$ARCHIVE_DIR" "$TEMP_DIR"
14

15
# ============ 并发处理函数 ============
16

17
process_video_file() {
18
    local input_file=$1
19
    local output_dir=$2
20
    local filename=$(basename "$input_file")
21
    local basename="${filename%.*}"
22

23
    {
24
        echo "[$(date '+%H:%M:%S')] 开始处理：$filename"
25

26
        # 转码为H.264（耗时操作）
27
        if ffmpeg -i "$input_file" \
28
                  -codec:v libx264 \
29
                  -preset fast \
30
                  "$output_dir/${basename}_converted.mp4" \
31
                  -y 2>/dev/null
32
        then
33
            echo "[$(date '+%H:%M:%S')] 转码成功：$filename"
34
        else
35
            echo "[$(date '+%H:%M:%S')] 转码失败：$filename" >&2
36
            return 1
37
        fi
38

39
    } >> "$LOG_FILE" 2>&1
40
}
41

42
scan_virus() {
43
    local file=$1
44

45
    {
46
        echo "[$(date '+%H:%M:%S')] 病毒扫描：$file"
47

48
        # 调用ClamAV病毒扫描
49
        if clamscan "$file" >/dev/null 2>&1
50
        then
51
            echo "[$(date '+%H:%M:%S')] 病毒扫描：$file - 安全"
52
        else
53
            echo "[$(date '+%H:%M:%S')] 病毒扫描：$file - 发现威胁" >&2
54
            return 1
55
        fi
56

57
    } >> "$LOG_FILE" 2>&1
58
}
59

60
archive_file() {
61
    local file=$1
62
    local archive_dir=$2
63
    local filename=$(basename "$file")
64

65
    {
66
        echo "[$(date '+%H:%M:%S')] 归档文件：$filename"
67

68
        # 压缩并移动到归档目录
69
        gzip -c "$file" > "$archive_dir/${filename}.gz"
70
        echo "[$(date '+%H:%M:%S')] 归档完成：${filename}.gz"
71

72
    } >> "$LOG_FILE" 2>&1
73
}
74

75
# ============ 主处理流程 ============
76

77
echo "开始大规模文件处理..." | tee -a "$LOG_FILE"
78

79
# 统计文件数量
80
file_count=$(find "$UPLOAD_DIR" -type f | wc -l)
81
echo "需要处理的文件总数：$file_count" | tee -a "$LOG_FILE"
82

83
# 第一步：并发转码视频文件
84
echo "第一步：开始并发转码（使用xargs）..." | tee -a "$LOG_FILE"
85
find "$UPLOAD_DIR" -type f \( -name "*.mp4" -o -name "*.avi" -o -name "*.mkv" \) \
86
    -print0 | \
87
    xargs -0 -P 4 -n 1 bash -c '
88
        for file in "$@"
89
        do
90
            process_video_file "$file" "'$PROCESSED_DIR'"
91
        done
92
    ' _
93

94
# 第二步：并发病毒扫描
95
echo "第二步：开始并发病毒扫描..." | tee -a "$LOG_FILE"
96
find "$UPLOAD_DIR" -type f -print0 | \
97
    xargs -0 -P 8 -n 50 bash -c '
98
        for file in "$@"
99
        do
100
            scan_virus "$file"
101
        done
102
    ' _
103

104
# 第三步：批量归档处理过的文件
105
echo "第三步：开始批量归档..." | tee -a "$LOG_FILE"
106
find "$PROCESSED_DIR" -type f -print0 | \
107
    xargs -0 -P 4 -n 100 bash -c '
108
        for file in "$@"
109
        do
110
            archive_file "$file" "'$ARCHIVE_DIR'"
111
        done
112
    ' _
113

114
# 第四步：生成处理统计报告
115
echo "第四步：生成统计报告..." | tee -a "$LOG_FILE"
116

117
success_count=$(grep "成功\|安全" "$LOG_FILE" | wc -l)
118
fail_count=$(grep "失败\|威胁" "$LOG_FILE" | wc -l)
119
archive_count=$(find "$ARCHIVE_DIR" -type f | wc -l)
120

121
cat << EOF | tee -a "$LOG_FILE"
122

123
===== 处理完成统计 =====
124
总文件数：$file_count
125
处理成功：$success_count
126
处理失败：$fail_count
127
已归档：$archive_count
128
处理时间：$(date '+%Y-%m-%d %H:%M:%S')
129
日志文件：$LOG_FILE
130
=====================
131

132
EOF