blog

Welcome to my blog!

Missing Semester of CS:Lecture02-Shell工具与脚本

ab's Avatar 2024-03-05 projectMissing Semester of CS

分享本文
  1. 1. 目录
  2. 2. Shell脚本
    1. 2.1. 变量、赋值、字符串
    2. 2.2. 函数
    3. 2.3. bool运算
    4. 2.4. 命令替换（command substitution）与进程替换（process substitution）
    5. 2.5. 通配符
    6. 2.6. shell函数与脚本
  3. 3. Shell工具
    1. 3.1. 查看命令如何使用
    2. 3.2. 查找文件-find
    3. 3.3. 查找代码-grep
    4. 3.4. 查找Shell命令
    5. 3.5. 文件夹导航
  4. 4. 作业
    1. 4.1. 1. 阅读 man ls，并使用 ls 命令进行如下操作：
    2. 4.2. 2. 编写两个bash函数 marco 和 polo 执行下面的操作：
    3. 4.3. 3.假设您有一个命令，它很少出错。为了在出错时能够对其进行调试，编写一段bash脚本：
    4. 4.4. 4.本节课我们讲解的 find 命令中的 -exec 参数非常强大，它可以对我们查找的文件进行操作。您的任务是：
    5. 4.5. 5.（进阶）编写一个命令或脚本递归的查找文件夹中最近使用的文件：
  5. 5. 参考链接

目录


Shell脚本

变量、赋值、字符串

bash中变量的赋值语法：foo=bar
访问变量中存储的数值："$foo"

单引号和双引号的区别如下：

  • '：表示原生字符
  • "：表示变量值
1
2
3
4
5
6
(base) chenyubin@chenyubindeMacBook-Pro ~ % cd /Users/chenyubin/Desktop/no_emo/github/MSofCS 
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % foo=bar
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % echo "$foo"
bar
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % echo '$foo'
$foo

函数

bash会支持if，case，for等这些控制流关键字

mcd.sh:

1
2
3
4
mcd () {
    mkdir -p "$1"
    cd "$1"
}
1
2
3
4
5
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % touch mcd.sh
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % vim mcd.sh
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % source mcd.sh
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % mcd test
(base) chenyubin@chenyubindeMacBook-Pro test %

bash使用了很多特殊的变量来表示参数、错误代码和相关变量:

  • $0 - 脚本名
  • $1 到 $9 - 脚本的参数。$1 是第一个参数，依此类推。
  • $@ - 所有参数
  • $# - 参数个数
  • $? - 前一个命令的返回值
  • $$ - 当前脚本的进程识别码
  • !! - 完整的上一条命令，包括参数。常见应用：当你因为权限不足执行命令失败时，可以使用 sudo !! 再尝试一次。
  • $_ - 上一条命令的最后一个参数。如果你正在使用的是交互式 shell，你可以通过按下 Esc 之后键入 . 来获取这个值。

下面将用一个例子来展示这些指令的使用：
mcd.sh:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
mcd () {
#!/bin/bash

# 输出脚本名
echo "脚本名是: $(basename $0)"

# 检查是否有至少一个参数传递给脚本
if [ $# -lt 1 ]; then
    echo "使用方法: $(basename $0) 目录名称"
    exit 1
fi

# 创建并切换到指定的目录
mkdir -p "$1" && cd "$1"
echo "已成功创建并切换到目录: $1"

# 显示所有传递给脚本的参数
echo "所有参数: $@"

# 显示参数个数
echo "参数个数: $#"

# 显示当前脚本的进程识别码
echo "当前脚本的PID: $$"

# 可以继续添加其他命令或逻辑...

}

指令信息如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % source mcd.sh
(base) chenyubin@chenyubindeMacBook-Pro test2 % mcd test3
脚本名是: mcd
已成功创建并切换到目录: test3
所有参数: test3
参数个数: 1
当前脚本的PID: 46932
(base) chenyubin@chenyubindeMacBook-Pro test3 % echo $?
0
(base) chenyubin@chenyubindeMacBook-Pro test3 % mcd test4
脚本名是: mcd
已成功创建并切换到目录: test4
所有参数: test4
参数个数: 1
当前脚本的PID: 46932
(base) chenyubin@chenyubindeMacBook-Pro test4 % echo $_
test4
(base) chenyubin@chenyubindeMacBook-Pro test4 % !!     
echo $_
test4

bool运算

  • 返回值0表示正常执行，其他所有非0的返回值都表示有错误发生。
  • 返回码可以搭配&&和||，用来进行条件判断。这两个操作符都具备short-circuiting属性：
    • 使用&&时，如果左侧的命令成功执行（即返回值为0），则会继续执行右侧的命令；如果左侧的命令失败（返回值非0），则不执行右侧的命令。
    • 使用||时，如果左侧的命令失败（返回值非0），则会执行右侧的命令；如果左侧的命令成功执行（返回值为0），则不执行右侧的命令。
  • 同一行中多个命令可以使用;分隔开来，允许在单一行内顺序执行多个命令，无论前一个命令执行成功与否。

。

1
2
3
4
5
6
7
8
(base) chenyubin@chenyubindeMacBook-Pro test4 % false || echo "Oops, fail"
Oops, fail
(base) chenyubin@chenyubindeMacBook-Pro test4 % true || echo "Will not be printed"
(base) chenyubin@chenyubindeMacBook-Pro test4 % true && echo "Things went well"
Things went well
(base) chenyubin@chenyubindeMacBook-Pro test4 % false && echo "Will not be printed"
(base) chenyubin@chenyubindeMacBook-Pro test4 % false ; echo "This will always run"
This will always run

命令替换（command substitution）与进程替换（process substitution）

  • 命令替换$()：(做字符串)执行括号内的命令，并将标准输出替换到原位置。
  • 进程替代<()：(作临时文件)允许将命令的输出暂时当作文件来处理。感觉和上一个命令很像但是能把输出内容链接在一起
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % echo "We are in $(pwd)"
We are in /Users/chenyubin/Desktop/no_emo/github/MSofCS
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % cat <(ls) <(ls ..)
mcd.sh
test
test1
test2
CS224N
MSofCS
Spike-Driven-Transformer
SpikeBERT
bert
d2l
data
spike
spikingjelly
vit

通配符

使用 ? 和 * 来匹配一个或任意个字符

1
2
3
4
5
6
7
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % ls test?
test1:

test2:
test3
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % ls *.sh
mcd.sh

花括号{} - 当你有一系列的指令，其中包含一段公共子串时，可以用花括号来自动展开这些命令。这在批量移动或转换文件时非常方便。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
(base) chenyubin@chenyubindeMacBook-Pro test % mkdir foo
(base) chenyubin@chenyubindeMacBook-Pro test % touch foo/{a..h} 
(base) chenyubin@chenyubindeMacBook-Pro test % ls
foo
(base) chenyubin@chenyubindeMacBook-Pro test % tree -L 2
.
└── foo
    ├── a
    ├── b
    ├── c
    ├── d
    ├── e
    ├── f
    ├── g
    └── h

2 directories, 8 files

shell函数与脚本

特性 函数 脚本
使用的语言 只能与shell使用相同的语言 可以使用任意语言，包含 shebang (#!) 很重要
加载时机 仅在定义时被加载，更改定义后需重新加载 每次执行时加载
执行环境 在当前的shell环境中执行，可以直接更改环境变量 在单独的进程中执行，需使用 export 导出环境变量以影响当前环境
对环境的影响 可以对环境变量进行更改，例如改变当前工作目录 通常不直接更改调用它的shell的环境，除非使用特定方法（如 export）
代码模块性和复用 可以提高代码模块性、代码复用性并创建清晰的结构，与其他编程语言的函数类似 虽然脚本是独立的程序，但往往也会包含它们自己的函数定义以提高代码模块性和复用

Shell工具

查看命令如何使用

  • 为对应的命令行添加-h 或 --help 标记。
  • 使用man 命令。man 命令是手册（manual）的缩写，它提供了命令的用户手册。
  • tldr

查找文件-find

1
2
3
4
5
6
7
8
# 查找所有名称为src的文件夹
find . -name src -type d
# 查找所有文件夹路径中包含test的python文件
find . -path '*/test/*.py' -type f
# 查找前一天修改的所有文件
find . -mtime -1
# 查找所有大小在500k至10M的tar.gz文件
find . -size +500k -size -10M -name '*.tar.gz'

不仅仅是进行查找还能进行操作：

1
2
3
4
# 删除全部扩展名为.tmp 的文件
find . -name '*.tmp' -exec rm {} \;
# 查找全部的 PNG 文件并将其转换为 JPG
find . -name '*.png' -exec convert {} {}.jpg \;

更高效的工具：

  • fd：find的替代品
  • locate ： 通过编译索引或建立数据库的方式来实现更加快速地搜索（不会用先不管了T.T）

查找代码-grep

查看文件内容时，grep 命令是一个非常强大的工具，用于对输入文本进行模式匹配。下面是grep命令经常使用的一些选项：

  • -C [num]：获取查找结果的上下文（Context），即除了匹配行外，还显示匹配行前后的内容。[num] 指定上下文的行数。

  • -v：将对结果进行反选（Invert），也就是输出不匹配的结果。

  • -R：递归搜索子目录，对指定目录下的所有文件以及子目录中的文件执行搜索操作。

示例：使用 grep 命令来搜索文件 mcd.sh 中包含字符串 “mcd” 的行

1
2
3
4
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % grep mcd mcd.sh
mcd () {
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % grep -r mcd .
./mcd.sh:mcd () {

更高效的工具：

  • rg
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % rg foobar mcd.sh

(base) chenyubin@chenyubindeMacBook-Pro MSofCS % rg mcd mcd.sh
1:mcd () {
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % rg $ mcd.sh
1:mcd () {
2:#!/bin/bash
3:
4:# 输出脚本名
5:echo "脚本名是: $(basename $0)"
6:
7:# 检查是否有至少一个参数传递给脚本
8:if [ $# -lt 1 ]; then
9:    echo "使用方法: $(basename $0) 目录名称"
10:    exit 1
11:fi
12:
13:# 创建并切换到指定的目录
14:mkdir -p "$1" && cd "$1"
15:echo "已成功创建并切换到目录: $1"
16:
17:# 显示所有传递给脚本的参数
18:echo "所有参数: $@"
19:
20:# 显示参数个数
21:echo "参数个数: $#"
22:
23:# 显示当前脚本的进程识别码
24:echo "当前脚本的PID: $$"
25:
26:# 可以继续添加其他命令或逻辑...
27:
28:}

查找Shell命令

在使用Shell时，有多种方式可以帮助您快速找到并重新使用之前输入过的命令：

  • 使用方向键：按向上的方向键会显示你使用过的上一条命令。如果继续按上键，则会遍历整个历史记录，这允许您快速找到并重新执行之前的命令。

  • history 命令：history 命令允许您以程序员的方式来访问Shell中输入的历史命令。

  • 使用 Ctrl+R 进行回溯搜索：在Shell中，您可以通过按下 Ctrl+R 开始对命令历史记录进行回溯搜索。输入您记得的命令的一部分，Shell会自动查找匹配的命令。反复按下 Ctrl+R 就会在所有搜索结果中循环，直到找到您需要的命令。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
Last login: Thu Mar  7 13:36:19 on ttys000
(base) chenyubin@chenyubindeMacBook-Pro ~ % history
  985  find . -path '*/test/*.sh' -type f
  986  cd test
  987  find . -path '*/test/*.sh' -type f
  988  cd ..
  989  locate MSofCS
  990  sudo launchctl load -w /System/Library/LaunchDaemons/com.apple.locate.plist
  991  locate MSofCS
  992  updatedb
  993  locate /etc/sh
  994  sudo launchctl load -w /System/Library/LaunchDaemons/com.apple.locate.plist
  995  rg -t py 'import requests'
  996  brew install tldr
  997  brew install ripgrep
  998  grep foobar mcd.sh
  999  grep mcd mcd.sh
 1000  grep -r mcd .

文件夹导航

  • ls -R：

  • tree：

  • broot：

  • nnn：

作业

1. 阅读 man ls，并使用 ls 命令进行如下操作：

  • 显示所有文件（包括隐藏文件）
  • 文件打印以人类可以理解的格式输出 （例如，使用454M 而不是 454279954）
  • 文件以最近访问顺序排序
  • 以彩色文本显示输出结果

典型输出示例：

1
2
3
4
5
-rw-r--r--   1 user group 1.1M Jan 14 09:53 baz
drwxr-xr-x   5 user group  160 Jan 14 09:53 .
-rw-r--r--   1 user group  514 Jan 14 06:42 bar
-rw-r--r--   1 user group 106M Jan 13 12:12 foo
drwx------+ 47 user group 1.5K Jan 12 18:08 ..

解：

1
ls [-alrtAFR] [name...]
  • -a 显示所有文件及目录 (. 开头的隐藏文件也会列出)
  • -d 只列出目录（不递归列出目录内的文件）
  • -l 以长格式显示文件和目录信息，包括权限、所有者、大小、创建时间等
  • -r 倒序显示文件和目录
  • -t 将按照修改时间排序，最新的文件在最前面
  • -A 同 -a，但不列出 “.” (当前目录) 及 “…” (父目录)
  • -F 在列出的文件名称后加一符号；例如可执行档则加 “*”, 目录则加 “/”
  • -R 递归显示目录中的所有文件和子目录

具体实例如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % ls -a
.		.DS_Store	test		test2
..		mcd.sh		test1
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % ls -d
.
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % ls -l
total 8
-rw-r--r--@ 1 chenyubin  staff  553  3  7 11:56 mcd.sh
drwxr-xr-x  3 chenyubin  staff   96  3  7 11:44 test
drwxr-xr-x  2 chenyubin  staff   64  3  7 11:59 test1
drwxr-xr-x  4 chenyubin  staff  128  3  7 12:00 test2
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % ls -r
test2	test1	test	mcd.sh
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % ls -t
test2	test1	mcd.sh	test
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % ls -A
.DS_Store	mcd.sh		test		test1		test2
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % ls -F
mcd.sh	test/	test1/	test2/
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % ls -R
mcd.sh	test	test1	test2

./test:
foo

./test/foo:
a	b	c	d	e	f	g	h

./test1:

./test2:
test3

./test2/test3:
test4

./test2/test3/test4:

1.1 显示所有文件（包括隐藏文件）: ls- a
1.2 文件打印以人类可以理解的格式输出: ls -h
1.3 文件以最近访问顺序排序: ls-t
1.4 以彩色文本显示输出结果

2. 编写两个bash函数 marco 和 polo 执行下面的操作：

  • 每当你执行 marco 时，当前的工作目录应当以某种形式保存
  • 当执行 polo 时，无论现在处在什么目录下，都应当 cd 回到当时执行 marco 的目录
  • 为了方便debug，你可以把代码写在单独的文件 marco.sh 中，并通过 source marco.sh 命令，（重新）加载函数
1
2
3
4
5
6
7
8
9
10
11
#!/usr/bin/env/ bash

macro()
{
	export MACRO=$(pwd)
}

polo()
{
	cd "$MACRO"
}

3.假设您有一个命令，它很少出错。为了在出错时能够对其进行调试，编写一段bash脚本：

  • 运行如下的脚本直到它出错，将它的标准输出和标准错误流记录到文件
  • 加分项：报告脚本在失败前共运行了多少次

脚本示例：

1
2
3
4
5
6
7
8
9
10
11
#!/usr/bin/env bash #使用bash来解释脚本

n=$(( RANDOM % 100 ))#生成0~99的数字

if [[ n -eq 42 ]]; then  #检查n是否等于42，如果等于则执行下面的代码
   echo "Something went wrong" #输出到标准输出
   >&2 echo "The error was using magic numbers" #输出到标准错误
   exit 1  #n=42，以状态1推出
fi

echo "Everything went according to plan" #n不等于42就输出这段代码到标准输出

解：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
#!/usr/bin/env bash
 count=0
 echo > out.log #清空或创建log文件用来记录

 while true
 do
     ./buggy.sh &>> out.log #执行上面的文件，然后将标准输出和标准错误都写道out.log中
     if [[ $? -ne 0 ]]; then #执行程序返回的状态=0代表执行成功
         cat out.log #打印out.log的内容到标准输出
         echo "failed after $count times" #告诉用户失败之前执行了多少次
         break
     fi
     ((count++))

 done

4.本节课我们讲解的 find 命令中的 -exec 参数非常强大，它可以对我们查找的文件进行操作。您的任务是：

  • 编写一个命令，它可以递归地查找文件夹中所有的HTML文件，并将它们压缩成zip文件
  • 注意，即使文件名中包含空格，您的命令也应该能够正确执行

提示：对于 MacOS 用户，使用 find 的 -print0 选项，并为 xargs 添加 -0 选项以正确处理文件名中的空格。

解：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % mkdir html_root
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % cd $_
(base) chenyubin@chenyubindeMacBook-Pro html_root % touch {1..10}.html
(base) chenyubin@chenyubindeMacBook-Pro html_root % ls -a
.	1.html	2.html	4.html	6.html	8.html
..	10.html	3.html	5.html	7.html	9.html
(base) chenyubin@chenyubindeMacBook-Pro html_root % mkdir html
(base) chenyubin@chenyubindeMacBook-Pro html_root % cd $_
(base) chenyubin@chenyubindeMacBook-Pro html % touch xxx.html
(base) chenyubin@chenyubindeMacBook-Pro html % cd ..
(base) chenyubin@chenyubindeMacBook-Pro html_root % ls -a
.	1.html	2.html	4.html	6.html	8.html	html
..	10.html	3.html	5.html	7.html	9.html
(base) chenyubin@chenyubindeMacBook-Pro html_root % tree -L 2
.
├── 1.html
├── 10.html
├── 2.html
├── 3.html
├── 4.html
├── 5.html
├── 6.html
├── 7.html
├── 8.html
├── 9.html
└── html
    └── xxx.html

2 directories, 11 files
(base) chenyubin@chenyubindeMacBook-Pro html_root % find html_root -name "*.html" -print0 | xargs -0 tar vcf html.zip
find: html_root: No such file or directory
(base) chenyubin@chenyubindeMacBook-Pro html_root % cd ..
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % find html_root -name "*.html" -print0 | xargs -0 tar vcf html.zip

a html_root/9.html
a html_root/5.html
a html_root/4.html
a html_root/8.html
a html_root/3.html
a html_root/html/xxx.html
a html_root/2.html
a html_root/1.html
a html_root/10.html
a html_root/7.html
a html_root/6.html
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % tree -L 2
.
├── html.zip
├── html_root
│   ├── 1.html
│   ├── 10.html
│   ├── 2.html
│   ├── 3.html
│   ├── 4.html
│   ├── 5.html
│   ├── 6.html
│   ├── 7.html
│   ├── 8.html
│   ├── 9.html
│   └── html
├── macro.sh
├── mcd.sh
├── test
│   └── foo
├── test1
└── test2
    └── test3

8 directories, 13 files

5.（进阶）编写一个命令或脚本递归的查找文件夹中最近使用的文件：

  • 更通用的做法，你可以按照最近的使用时间列出文件吗？
1
2
3
4
5
6
7
8
9
10
11
(base) chenyubin@chenyubindeMacBook-Pro MSofCS % find . -type f -mmin -60 -print0 | xargs -0 ls -lt | head -10
-rw-r--r--  1 chenyubin  staff  6656  3  9 16:10 ./html.zip
-rw-r--r--  1 chenyubin  staff     0  3  9 16:07 ./html_root/html/xxx.html
-rw-r--r--  1 chenyubin  staff     0  3  9 16:06 ./html_root/10.html
-rw-r--r--  1 chenyubin  staff     0  3  9 16:06 ./html_root/9.html
-rw-r--r--  1 chenyubin  staff     0  3  9 16:06 ./html_root/8.html
-rw-r--r--  1 chenyubin  staff     0  3  9 16:06 ./html_root/7.html
-rw-r--r--  1 chenyubin  staff     0  3  9 16:06 ./html_root/6.html
-rw-r--r--  1 chenyubin  staff     0  3  9 16:06 ./html_root/5.html
-rw-r--r--  1 chenyubin  staff     0  3  9 16:06 ./html_root/4.html
-rw-r--r--  1 chenyubin  staff     0  3  9 16:06 ./html_root/3.html

参考链接

本文最后更新于 天前，文中所描述的信息可能已发生改变

本文发表于  , 最后修改于 

project Missing Semester of CS