Lanchester Blog

Leave a leaf

0%

Linux Shell脚本

Posted on Edited on In

简单介绍了 Linux 中 Shell 的语法。

Shell 基础语法

Shell 变量

一般变量

Shell 脚本定义变量是 key=value 的形式（注意，变量名和等号之间不能有空格），而使用时需要在变量名前添加 $ 符号（例，$MY_NAME）或是用 ${} 将变量名包裹起来（例，${MY_NAME}）。

URL="https://www.google.com"
echo $URL
echo ${URL}

为变量设置默认值

:- 的含义是：如果 parameter 未设置（也就是不存在）或为空，则使用 word 作为扩展结果。如果 parameter 不为空，则使用 parameter 的值作为扩展结果。

$ {parameter:-word}
$ echo {foo:-"default value"} # Console: default value
$ echo $foo                   # Console:

:= 的含义是：如果 parameter 未设置或为空，则使用 word 作为扩展结果，除此之外，还将 word 赋给 parameter。如果 parameter 不为空，则使用 parameter 的值作为扩展结果。

$ {parameter:=word}
$ {foo:="default value"} # Console: default value
$ echo $foo              # Console: default value

:? 的含义是：如果 parameter 未设置或为空，该扩展会使脚本退出并返回错误信息，word 会被发送至标准错误。如果 parameter 不为空，则使用 parameter 的值作为扩展结果

$ echo ${foo:?"parameter is empty"}
$ bash: foo: parameter is empty

:+ 的含义是：如果 parameter 未设置或为空，则扩展结果为空。如果 parameter 不为空，则使用 word 作为扩展结果；不过，parameter 的值保持不变。

$ foo=
$ echo ${foo:+"substitute value if set"}
$ foo=bar
$ echo ${foo:+"substitute value if set"}
$ substitute value if set

只读变量

使用 readonly 命令或是以declare -r KEY=VALUE可以将变量定义为只读变量，只读变量的值不能被改变。

URL="https://www.google.com"
readonly URL
URL="https://www.baidu.com"

# Console
# /bin/sh: URL: This variable is read only.

declare -r URL="https://www.google.com"
URL="https://www.baidu.com"
# Console
# /bin/sh: URL: This variable is read only.

删除变量

使用 unset 命令可以删除变量。

unset variable_name

变量被删除后不能再次使用。unset 命令不能删除只读变量。

命令输出变量

使用一对反引号或是 $() 将命令包裹起来。

$(expr 2 + 2)

`expr 2 + 2`

Shell 字符串

单引号

STR='this is a string'

单引号字符串的限制：

  • 单引号里的任何字符都会原样输出，单引号字符串中的变量是无效的
  • 单引号字串中不能出现单独一个的单引号（对单引号使用转义符后也不行）

双引号

STR="this is a string: $NAME"

双引号的优点：

  • 双引号里可以有变量
  • 双引号里可以出现转义字符

拼接字符串

我们可以通过以下方式拼接字符串：

STR1="this is" $NAME "\!"
STR2="this is $NAME \!"
# echo -> this is WANG !
# 符号需要转义
STR1='this is' $NAME '!'
# 由于单引号原样输出，所以无需转义

获取字符串长度

NAME=WANG
echo ${#NAME} # 输出字符串长度 4

提取子字符串

NAME=WANG
echo ${NAME:1:3} # 输出截取的字符串 ANG

注意：第一个字符的索引值为 0。

Shell 数组

bash支持一维数组（不支持多维数组），并且没有限定数组的大小。

类似于 C 语言，数组元素的下标由 0 开始编号。获取数组中的元素要利用下标，下标可以是整数或算术表达式，其值应大于或等于 0。

定义数组

在 Shell 中，用括号来表示数组，数组元素用”空格”符号分割开。定义数组的一般形式为：

array_name=(value1 value2 ... valuen)
或
array_name=(
value1 
value2 
... 
valuen
)
或 declare -a array_name

还可以单独定义数组的各个分量：

array_name[0]=value0
array_name[1]=value1
array_name[n]=valuen

可以不使用连续的下标，而且下标的范围没有限制。

读取数组

读取数组元素值的一般格式是：

${array_name[1]}

使用 @ 或 * 符号可以获取数组中的所有元素：

${array_name[@]}

获取数组的长度

获取数组长度的方法与获取字符串长度的方法相同，都是在变量名前加 #：

LEN1=${#array_name}
LEN2=${#array_name[*]}

Shell 注释

单行注释

以 # 开头的行就是注释，会被解释器忽略。

多行注释

多行注释还可以使用以下格式：

:<<EOF
注释内容...
注释内容...
注释内容...
EOF

注意：EOF 也可以使用其他符号

Shell 基本运算符

Shell 和其他编程语言一样，支持多种运算符，包括：

  • 算数运算符
  • 关系运算符
  • 布尔运算符
  • 字符串运算符
  • 文件测试运算符

算术运算符

原生 bash 不支持简单的数学运算，但是可以通过其他命令来实现，例如 awk 和 expr，expr 最常用。

需要注意的是，表达式和运算符之间要有空格，例如 2+2 是不对的，必须写成 2 + 2。

下表列出了常用的算术运算符，假定变量 a 为 10，变量 b 为 20：

运算符 说明 举例
+ 加法 expr $a + $b 结果为 30。
- 减法 expr $a - $b 结果为 -10。
* 乘法 expr $a \* $b 结果为 200。
/ 除法 expr $b / $a 结果为 2。
% 取余 expr $b % $a 结果为 0。
= 赋值 a=$b 把变量 b 的值赋给 a。
== 相等。用于比较两个数字，相同则返回 true。 [ $a == $b ] 返回 false。
!= 不相等。用于比较两个数字，不相同则返回 true。 [ $a != $b ] 返回 true。

注意：条件表达式要放在方括号之间，并且要有空格，例如: [$a==$b] 是错误的，必须写成 [ $a == $b ]。

关系运算符

关系运算符只支持数字，不支持字符串，除非字符串的值是数字。

下表列出了常用的关系运算符，假定变量 a 为 10，变量 b 为 20：

运算符 说明 举例
-eq 检测两个数是否相等，相等返回 true。 [ $a -eq $b ] 返回 false。
-ne 检测两个数是否不相等，不相等返回 true。 [ $a -ne $b ] 返回 true。
-gt 检测左边的数是否大于右边的，如果是，则返回 true。 [ $a -gt $b ] 返回 false。
-lt 检测左边的数是否小于右边的，如果是，则返回 true。 [ $a -lt $b ] 返回 true。
-ge 检测左边的数是否大于等于右边的，如果是，则返回 true。 [ $a -ge $b ] 返回 false。
-le 检测左边的数是否小于等于右边的，如果是，则返回 true。 [ $a -le $b ] 返回 true。

布尔运算符

下表列出了常用的布尔运算符，假定变量 a 为 10，变量 b 为 20：

运算符 说明 举例
! 非运算，表达式为 true 则返回 false，否则返回 true。 [ ! false ] 返回 true。
-o 或运算，有一个表达式为 true 则返回 true。 [ $a -lt 20 -o $b -gt 100 ] 返回 true。
-a 与运算，两个表达式都为 true 才返回 true。 [ $a -lt 20 -a $b -gt 100 ] 返回 false。

逻辑运算符

以下介绍 Shell 的逻辑运算符，假定变量 a 为 10，变量 b 为 20:

运算符 说明 举例
&& 逻辑的 AND [[ $a -lt 100 && $b -gt 100 ]] 返回 false
\ \ 逻辑的 OR `[[ $a -lt 100 $b -gt 100 ]]` 返回 true

字符串运算符

下表列出了常用的字符串运算符，假定变量 a 为 “abc”，变量 b 为 “efg”：

运算符 说明 举例
= 检测两个字符串是否相等，相等返回 true。 [ $a = $b ] 返回 false。
!= 检测两个字符串是否不相等，不相等返回 true。 [ $a != $b ] 返回 true。
-z 检测字符串长度是否为0，为0返回 true。 [ -z $a ] 返回 false。
-n 检测字符串长度是否不为 0，不为 0 返回 true。 [ -n “$a” ] 返回 true。
$ 检测字符串是否为空，不为空返回 true。 [ $a ] 返回 true。

文件测试运算符

文件测试运算符用于检测 Unix 文件的各种属性。

属性检测描述如下：

操作符 说明 举例
-b file 检测文件是否是块设备文件，如果是，则返回 true。 [ -b $file ] 返回 false。
-c file 检测文件是否是字符设备文件，如果是，则返回 true。 [ -c $file ] 返回 false。
-d file 检测文件是否是目录，如果是，则返回 true。 [ -d $file ] 返回 false。
-f file 检测文件是否是普通文件（既不是目录，也不是设备文件），如果是，则返回 true。 [ -f $file ] 返回 true。
-g file 检测文件是否设置了 SGID 位，如果是，则返回 true。 [ -g $file ] 返回 false。
-k file 检测文件是否设置了粘着位(Sticky Bit)，如果是，则返回 true。 [ -k $file ] 返回 false。
-p file 检测文件是否是有名管道，如果是，则返回 true。 [ -p $file ] 返回 false。
-u file 检测文件是否设置了 SUID 位，如果是，则返回 true。 [ -u $file ] 返回 false。
-r file 检测文件是否可读，如果是，则返回 true。 [ -r $file ] 返回 true。
-w file 检测文件是否可写，如果是，则返回 true。 [ -w $file ] 返回 true。
-x file 检测文件是否可执行，如果是，则返回 true。 [ -x $file ] 返回 true。
-s file 检测文件是否为空（文件大小是否大于0），不为空返回 true。 [ -s $file ] 返回 true。
-e file 检测文件（包括目录）是否存在，如果是，则返回 true。 [ -e $file ] 返回 true。

其他检查符：

  • -S: 判断某文件是否 socket。
  • -L: 检测文件是否存在并且是一个符号链接。

Shell 传递参数

我们可以在执行 Shell 脚本时，向脚本传递参数，脚本内获取参数的格式为：$n。n 代表一个数字，1 为执行脚本的第一个参数，2 为执行脚本的第二个参数，以此类推……

另外，还有几个特殊字符用来处理参数：

参数处理 说明
$# 传递到脚本的参数个数
$* 以一个单字符串显示所有向脚本传递的参数，中间用空格分割。
$@ 与$*相同，但是使用时加引号，并在引号中返回每个参数。 如”$@”用「”」括起来的情况、以”$1” “$2” … “$n” 的形式输出所有参数。
$$ 脚本运行的当前进程ID号
$! 后台运行的最后一个进程的ID号
$- 显示Shell使用的当前选项，与set命令功能相同。
$? 显示最后命令的退出状态。0表示没有错误，其他任何值表明有错误。

$* 和 $@ 区别

他们的区别在遍历上会有不同

# ./test.sh 1 2 3

echo "-- \$* 演示 ---"
for i in "$*"; do
 echo $i
done

# Console
# 1 2 3

echo "-- \$@ 演示 ---"
for i in "$@"; do
 echo $i
done

# Console
# 1
# 2
# 3

Shell 流程控制

if 语句

if 语法

if commands; then      
	commands
[elif commands; then      
	commands...]
[else      
	commands...]
fi

test 条件语法

test 命令用于执行条件表达式，有两种形式：test expression 和 [ expression]，其返回值为 0 时表达式为真，为 1 时表达式为假。

$ NUM=3
$ [ $NUM -eq 5]; echo $?

# Console
# 1

评估文件状态

test 命令也可以用于评估文件状态，参数如下：

# 判断$FILE指向的文件是否存在
if [ -e "$FILE" ]; then
   command
fi

评估字符串状态

评估整数状态

eq 和 ne 前有 - 图有问题

支持模式匹配的评估

Bash 的现代版本包含了一个可以作为 test 增强版的复合命令，其用法如下：

[[ expression ]]

1. [[ string =! regex]]  # 正则表达式的匹配
2. [[ string == File* ]] # 和路径名扩展一致的模式匹配

正则表达式的匹配

$ A=STRING
$ [[ "$A" =~ ^STR* ]]; echo $?

和路径名扩展一致的模式匹配

$ A=STRING
$ [[ "$A" == STR* ]]; echo $?

支持整数类型的评估

Bash 还支持另一种复合命令 (())，它在整数操作时用得上。该命令支持所有的算术求值。

$ ((0)); echo $? # Console 1
$ ((1)); echo $? # Console 0
$ ((10)); echo $? # Console 0

$ INT=-5
$ ((INT < 0)); echo $? # Console 0

支持的算术操作符如下：

支持的赋值操作符如下：

支持的位操作符如下：

支持的比较操作符如下：

支持组合表达式的评估

$ INT=-5
$ ((INT < 0 && INT > -10)); echo $?
$ [ "$INT" -lt "0" -a "$INT" -gt "-10" ]; echo $?

for 循环

for循环一般格式为：

for var in item1 item2 ... itemN; do
    command1;
    command2;
    ...
    commandN;
done;

当变量值在列表里，for 循环即执行一次所有命令，使用变量名获取列表中的当前取值。命令可为任何有效的 shell 命令和语句。in 列表可以包含替换、字符串和文件名。

in 列表是可选的，如果不用它，for 循环使用命令行的位置参数。

for 循环还支持以下形式：

for (( expression1; expression2; expression )); do
	commands
done

其中表达式都是算术表达式。

while 循环

while 是在退出状态值不为 0 时结束循环。其语法格式为：

while command; do
    command
done

until 循环

until 循环会在接收到为 0 的退出状态值时终止。until 循环与 while 循环在处理方式上刚好相反。其语法格式为：

until [ condition ]
do
    command
done

condition 一般为条件表达式，如果返回值为 false，则继续执行循环体内的语句，否则跳出循环。

case 语句

case … esac 为多选择语句，与其他语言中的 switch … case 语句类似，是一种多分支选择结构，每个 case 分支用右圆括号开始，用两个分号 ;; 表示 break，即执行结束，跳出整个 case … esac 语句，esac（就是 case 反过来）作为结束标记。

可以用 case 语句匹配一个值与一个模式，如果匹配成功，执行相匹配的命令。

case … esac 语法格式如下：

case 值 in
模式1)
    command1
    command2
    ...
    commandN
    ;;
模式2|模式3)
    command1
    command2
    ...
    commandN
    ;;
esac

case 工作方式如上所示，取值后面必须为单词 in，每一模式必须以右括号结束。取值可以为变量或常数，匹配发现取值符合某一模式后，其间所有命令开始执行直至 ;;。

下面是 case 支持的匹配模式：

取值将检测匹配的每一个模式。一旦模式匹配，则执行完匹配模式相应命令后不再继续其他模式。如果无一匹配模式，使用星号 * 捕获该值，再执行后面的命令。

跳出循环

在循环过程中，有时候需要在未达到循环结束条件时强制跳出循环，Shell使用两个命令来实现该功能：break 和 continue。break 命令允许跳出所有循环（终止执行后面的所有循环）。continue 命令仅仅跳出当前循环。

Shell 函数

Linux Shell 可以用户定义函数，然后在 Shell 脚本中可以随便调用。

函数的定义

Shell 中函数的定义格式有如下三种：

function_name () {
    action;
    [return int;]
}

function function_name {
		action;
    [return int;]
}

function function_name() {
		action;
    [return int;]
}

# 调用方式
# function_name

说明：

  1. 参数返回，可以显式加：return 返回，如果不加，将以最后一条命令运行结果，作为返回值。return 后跟数值 n（0-255）
  2. 参数获取、传递，使用 $n 来获取，在调用时跟随在函数后传递，以空格分隔。

注意，$10 不能获取第十个参数，获取第十个参数需要 ${10}。当 n>=10 时，需要使用 ${n} 来获取参数。

函数的局部变量

在目前我们所编写的脚本中，所有的变量（包括常量）都是全局变量。在整个程序执行期间，全局变量一直存在。很多时候，这是好事。但是有时候，它会使 Shell 函数的使用变得复杂起来。在 Shell 函数内部，往往更需要局部变量。局部变量只能在定义其的 Shell 函数中有效，一旦 Shell 函数终止，就不复存在。

foo=0 # 定义了一个全局变量
function test_local_variable {
	local foo # 定义了一个局部变量
	foo=1
	echo "foo:$foo"
}
echo "foo:$foo"

# Console
# foo:1
# foo:0

Shell 输入/输出重定向

大多数 UNIX 系统命令从你的终端接受输入并将所产生的输出发送回到您的终端。一个命令通常从一个叫标准输入的地方读取输入，默认情况下，这恰好是你的终端。同样，一个命令通常将其输出写入到标准输出，默认情况下，这也是你的终端。

重定向命令列表如下：

命令 说明
command > file 将输出重定向到 file。
command < file 将输入重定向到 file。
command >> file 将输出以追加的方式重定向到 file。
n > file 将文件描述符为 n 的文件重定向到 file。
n >> file 将文件描述符为 n 的文件以追加的方式重定向到 file。
n >& m 将输出文件 m 和 n 合并。
n <& m 将输入文件 m 和 n 合并。
<< tag 将开始标记 tag 和结束标记 tag 之间的内容作为输入。

输出重定向

重定向一般通过在命令间插入特定的符号来实现。特别的，这些符号的语法如下所示:

command1 > file1

上面这个命令执行command1然后将输出的内容存入file1。

注意任何 file1 内的已经存在的内容将被新内容替代。如果要将新内容添加在文件末尾，请使用 >> 操作符。

输入重定向

和输出重定向一样，Unix 命令也可以从文件获取输入，语法为：

command1 < file1

这样，本来需要从键盘获取输入的命令会转移到文件读取内容。

下面举一个例子，我们需要统计 users 文件的行数，执行以下命令：

$ wc -l test.sh
2 test.sh

也可以将输入重定向到 users 文件：

$ wc -l < test.sh
2

注意：上面两个例子的结果不同：第一个例子，会输出文件名；第二个不会，因为它仅仅知道从标准输入读取内容。

command1 < infile > outfile

同时替换输入和输出，执行 command1，从文件 infile 读取内容，然后将输出写入到 outfile 中。

重定向详解

一般情况下，每个 Unix/Linux 命令运行时都会打开三个文件：

  • 标准输入文件(stdin)：stdin的文件描述符为0，Unix程序默认从stdin读取数据。
  • 标准输出文件(stdout)：stdout 的文件描述符为1，Unix程序默认向stdout输出数据。
  • 标准错误文件(stderr)：stderr的文件描述符为2，Unix程序会向stderr流中写入错误信息。

默认情况下，command > file 将 stdout 重定向到 file，command < file 将stdin 重定向到 file。

如果希望 stderr 重定向到 file，可以这样写：

$ command 2>file

如果希望 stderr 追加到 file 文件末尾，可以这样写：

$ command 2>>file

如果希望将 stdout 和 stderr 合并后重定向到 file，可以这样写：

$ command > file 2>&1

或者

$ command >> file 2>&1

如果希望对 stdin 和 stdout 都重定向，可以这样写：

$ command < file1 > file2

command 命令将 stdin 重定向到 file1，将 stdout 重定向到 file2。

Here Document

Here Document 是 Shell 中的一种特殊的重定向方式，它的作用是将两个 delimiter 之间的内容(document) 作为输入传递给 command。。

它的基本的形式如下：

command << delimiter
    document
delimiter

注意：

  • 结尾的 delimiter 一定要顶格写，前面不能有任何字符，后面也不能有任何字符，包括空格和 tab 缩进。
  • 开始的 delimiter 前后的空格会被忽略掉。

在命令行中通过 wc -l 命令计算 Here Document 的行数：

$ wc -l << EOF
    WANG
    ZI
    HAO
EOF
3          # 输出结果为 3 行

/dev/null 文件

如果希望执行某个命令，但又不希望在屏幕上显示输出结果，那么可以将输出重定向到 /dev/null：

$ command > /dev/null

/dev/null 是一个特殊的文件，写入到它的内容都会被丢弃；如果尝试从该文件读取内容，那么什么也读不到。但是 /dev/null 文件非常有用，将命令的输出重定向到它，会起到”禁止输出”的效果。

如果希望屏蔽 stdout 和 stderr，可以这样写：

$ command > /dev/null 2>&1

这里的 2 和 > 之间不可以有空格，2> 是一体的时候才表示错误输出。

Shell 文件包含

Shell 可以包含外部脚本。这样可以很方便的封装一些公用的代码作为一个独立的文件。

Shell 文件包含的语法格式如下：

. filename   # 注意点号(.)和文件名中间有一空格

或

source filename

Shell 错误跟踪

Bug 经常表现为脚本中异常的逻辑流程。也就是说，部分脚本要么没执行，要么以错误的顺序或在错误的时刻执行了。跟踪是一种用于查看程序实际执行流程的技术。

提示信息重定向到标准错误

一种跟踪技术是通过在脚本中添加能够显示执行位置的提示信息。我们可以把这些信息加入代码片段：

echo "preparing to delete files" >&2
if [[ -d $dir_name ]]; then      
		if cd $dir_name; then
				echo "deleting files" >&2            
				rm *      
    else            
    		echo "cannot cd to '$dir_name'" >&2            
    		exit 1      
    fi
else      
		echo "no such directory: '$dir_name'" >&2      
		exit 1
fi
echo "file deletion complete" >&2

脚本跟踪功能

bash 通过 -x 选项和 set 命令的 -x 选项激活整个脚本的跟踪功能。

#!/bin/bash -x
#!/bin/bash

commands A
set -x # 打开跟踪
commands B
set +x # 关闭跟踪
commands C

启用跟踪后，我们可以查看命令经过扩展之后的执行情况。行首的加号表示此行是跟踪显示的结果，以区别于一般的输出结果。加号是用于跟踪输出的默认字符，是由 Shell 变量 PS4（Prompt String 4）设定的。可以改变 PS4 变量的值，增强提示符的实用性。我们对变量PS4做出修改，在其中加入当前所跟踪代码的行号。

注意，单引号用于将扩展推迟到真正使用提示符的时候：