各个项目以实践为主。原理及更多细节介绍,请查看官方文档:
例如:bash,grub,postfix,pam,fastcgi,httpd,rsync等诸多项目。
各种总结表格
http://www.cnblogs.com/xkfz007/archive/2012/02/02/2336318.html
http://blog.sina.com.cn/s/blog_6bd7d943010151a1.html
shell 彩色化更改
/etc/DIR_COLORS,具体看文件,一看就懂了
A,dircolors -p > ~/.dircolorsB,cp /etc/DIR_COLORS ~/.dircolors
http://www.linuxsir.org/bbs/thread112305.html 控制台彩色更改
fbterm,setterm,xterm
传递参数
通过脚本里的变量传递参数
通过命令行传递参数
通过固定的一个文件传递参数
cat -A显示所有不可见字符
[root@250-shiyan sh]# cat -A mylsfilecheck-root.sh$efii^I^Ith.sh$for.sh$ser.sh$
脚本的本质
只关心输入与输出,在一个脚本中,看有几个输出,每个输出是否有响应(输入),便可以很好的理解脚本的作用
界面与编辑器
行编辑器,vi 屏幕编辑器,sed 文本流编辑器
cli 命令行界面,tui 类似于setup或编译内核时的界面,gui 图形界面
脚本文件与可执行文件(二进制文件)
[root@localhost bin]# file /sbin/* |grep script[root@localhost bin]# file /bin/* |grep script[root@localhost bin]# file /usr/sbin/* |grep script[root@localhost bin]# file /usr/bin/* |grep script只有以下四种脚本类型c99: POSIX shell script text executableldd: Bourne-Again shell script text executablepydoc: a /usr/bin/python2.6 script text executableurlgrabber: a /usr/bin/python -t script text executableyum: a /usr/bin/python script text executable两种学习方式
你想学习shell脚本编程,这很不错。于是你拿了一本书开始学习。一些人会首先通读整本教材后再上机练习。这种方法可能适用于一些人,但我却不太看好它。我的建议是,仅仅学一些最基础的能够让你开始编码的知识就可以了。之后,动手写一些简单的程序吧。一旦你由于知识上的欠缺而不得不停止时,再回到书本上去读你想要了解的那部分,然后继续做你的项目。如此周而复始,不断提高你的水平。这种边学边做的方法曾让我受益良多。三种脚本执行方式(4种)1 source bash_profile . bash_profile两者等效 不需要执行权限2 bash bash_profile 不需要执行权限3 ./filename 需要执行权限一般的脚本文件是新产生一个子shell,然后在其下执行命令,一般是在脚本文件前加入#!/bin/bash这一行
实验证明写脚本时加不加#!/bin/bash这一行没有关系。source命令即点命令,在当前进程中执行脚本文件中的各个命令,不产生新的shell(sub-shell)source从c-shell而来,点命令从bourne-shell而来,二者等效。当前脚本中设置的变量也将作为脚本的环境,source和点通常用于重新执行刚修改的初始化文件,如.bash_profile等source命令通常用于重新执行刚修改的初始化文件,使之立即生效,而不必注销并重新登录。
bash scriptfiles 不需要执行权限 产生子shell。
source scriptfiles 不需要执行权限 不产生子shell,在本shell中执行的。. scriptfiles 不需要执行权限 不产生子shell,在本shell中执行的。scriptfiles scriptfiles需要执行权限,还需要将此文件放入PATH中才可以,否则要使用绝对路径。是在子shell中运行的,结果不影响父shell脚本文件与source和点的区别脚本文件启动子shell来执行命令,这样如果把设置环境变量的命令写入脚本中,就只会影响子shell,无法改变当前shell,所以通过文件设置变量时,要用source命令。source filename 与 sh filename 及./filename执行脚本的区别在那里呢?
1.当shell脚本具有可执行权限时,用sh filename与./filename执行脚本是没有区别得。./filename是因为当前目录没有在PATH中,所有"."是用来表示当前目录的。2.sh filename 重新建立一个子shell,在子shell中执行脚本里面的语句,该子shell继承父shell的环境变量,但子shell新建的、改变的变量不会被带回父shell,除非使用export。3.source filename:这个命令其实只是简单地读取脚本里面的语句依次在当前shell里面执行,没有建立新的子shell。那么脚本里面所有新建、改变变量的语句都会保存在当前shell里面。举例说明:
1.新建一个test.sh脚本,内容为:A=12.运行sh test.sh后,echo $A,显示为空,因为A=1并未传回给当前shell3.或者chmod 777 test.sh,并且cp test.sh /bin/这样便可以在搜索路径中找到,直接执行了4.运行test.sh后,也是一样的效果5.运行source test.sh 或者 . test.sh,然后echo $A,则会显示1,说明A=1的变量在当前shell中[root@250-shiyan sh]# cat pstr 可以一边观察进程的产生,一边执行脚本
#!/bin/bashwhile sleep 2 do pstree done[root@109-com1 asterisk]# while sleep 2; do pstree;done
[root@109-com1 ~]# while sleep 1;do echo `/usr/sbin/ss -n|grep ESTAB|awk '($2 && $3)!~/0/{printf $0}'`;done
七种文件类型
shell中的常规文件是指-rwxrwxrwx,有减号就是#stat 文件名 便可以看出 有regular file标志的就是文件类型对应于上面的st_mode, 文件类型有很多,比如常规文件、符号链接(硬链接、软链接)、管道文件、设备文件(符号设备、块设备)、socket文件等,不同的文件类型对应不同的功能和作用。-常规文件,d目录,l符号链接,b块设备,c字符设备,s套接字,p管道每一种文件都可以用相应的命令创建,如
touch a 创建常规文件
mkdir a 创建目录
ln -s a 创建链接
mkfifo 创建命名管道
MAKEDEV 创建设备文件 包含在包MAKEDEV中
mksock 创建套接字文件 包含在包MAKEDEV中
管道分为有名管道与无名管道
无名就是在当前shell中类似grep root /etc/passwd | wc -l这种方式
有名可以在两个终端之间协同工作,例如在一个终端mkfifo aa;ifconfig > aa。在另一个终端接收管道传过来的流,即tail -f aa
shell通配符 ? ,*, {strings1,strings2,...}, [list], [!list], [^list], [c1-c2]
shell元字符
shell转义符
四个引用符号 " ' ` \为防止shell解释一些东西,所以就有了引用,四种符号 " ' ` \
双引、单引和反引号使用反斜线实现屏蔽,转义。反斜线引用单个字符时,称它为转义字符双引号除$ ` \ 三种符号外,引用所有内容,称为弱引用[root@localhost script]# echo "$TERM pwd "xterm pwd[root@localhost script]# echo "`ls` pwd "passwduser pwd[root@localhost script]# echo "\`ls\` pwd "`ls` pwd单引号引用所有内容,没有字符拥有特殊含义,称为强引用反引号shell试图替代单词hello为系统命令并执行它,因为hello脚本或命令不存在,返回错误信息。[root@localhost script]# echo `hello`-bash: hello: command not found[root@localhost script]# echo `date`Mon Dec 30 18:08:21 CST 2013[root@250-shiyan sh]# echo "who "fi""
who fi[root@250-shiyan sh]# echo "who \"fi\""who "fi"命令替换看后两例子
命令替换两种形式
$(command)或`command`
filelist=`ls -al` echo $filelist # put contents of the file into a varible filecontent=`cat export.txt` echo $filecontent # produce a varible from a loop var1=`for i in 1 2 3 4 5 do echo -n $i # this echo is very important done` echo $var1 i=0 var2=`while [ $i -le 10 ] do echo -n $i #this echo is very important i=$((i+1)) done` echo $var2 word_count=$( wc -w $(ls -l | awk '{print $9}') ) echo $word_count word_count=`wc -w \`ls -l | awk '{print $9}'\`` # 反引号也可以嵌套替换,但是需要通过\进行转意 echo $word_count
四个shell命令执行顺序符号 &&,||,(),{}
&&运算符:
command1 && command2&&左边的命令(命令1)返回真(即返回0,成功被执行)后,&&右边的命令(命令2)才能够被执行;换句话说,“如果这个命令执行成功&&那么执行这个命令”。(cmd1;cmd2;...;cmdN) # 在一个子shell里执行一组命令{cmd1;cmd2;...;cmdN} # 在当前shell里执行一组命令||运算符:command1 || command2||则与&&相反。如果||左边的命令(命令1)未执行成功,那么就执行||右边的命令(命令2);或者换句话说,“如果这个命令执行失败了||那么就执行这个命令。()运算符:为了在子shell中执行一组命令,可以用命令分隔符(即",")隔开每一个命令,并把所有的命令用圆括号()括起来。{}运算符:如果使用{}来代替(),那么相应的命令将在当前shell中作为一个整体被执行。$ A=1;echo $A;{ A=2; };echo $A12$ A=1;echo $A;( A=2; );echo $A11{ A=2; }改变了当前shell变量的值( A=2; )未改变当前shell变量的值四种变量类型环境变量(也叫shell变量) 是一类Shell预定义变量。环境变量由系统统一命名,全部大写。部分系统变量的值由系统设定,部分环境变量的值可以由用户给定。由export关键字处理过的变量叫做环境变量。因为通常情况下仅仅在登录脚本中使用环境变量。位置变量(也叫shell参数) 函数,脚本等都需要参数,就是用来获得这些参数的。相当于其它编程语言的形参$0 $1 $2 $3 $4 $5 $6 $7 $8 $9特殊变量(预定义变量) $! $* $# $? $$ $@自定义变量五种变量赋值方法:使用read命令,直接赋值,使用命令行参数,使用命令行的输出结果,从文件读取。变量括号变量名=值取出变量值可以加一个美元符号($)在变量前面变量名不可以直接和其他字符相连,如果想相连,必须用括号:#num=2#echo “this is $(num)nd!”env与set的区别env用于显示用户环境区中的变量及其取值;set用于显示本地数据区和用户环境区中的变量及其取值;unset用于删除指定变量当前的取值,该值将被指定为NULL;export命令用于将本地数据区中的变量转移到用户环境区。新的变量会在本地数据区分配内存进行存储,这个变量归当前的Shell所有,任何子进 程都不能访问本地变量。这些变量与环境变量不同,环境变量被存储在另一内存区,叫做用户环境区,这块内存中的变量可以被子进程访问env(查看全局环境变量)set(显示为某个特定进程设置的所有环境变量,包括全局变量,剩下的为局部变量)登录shell 优先级在tty与pts中是不一样的 http://blog.csdn.net/zlm_250/article/details/79494151./etc/profile2./etc/profile.d/*.sh3.$HOME/.bash_profile4.$HOME/.bash_login 如果有的话5.$HOME/.profile 如果有的话6.$HOME/.bashrc7./etc/bashrc8.$HOME/.bash_logouttty中的顺序是 1-2-3-5-6-7-8pts中的顺序是 1-3-5会从4个不同的启动文件里读取命令,顺序依次为:/etc/profile -> /etc/profile.d/*.sh -> (~/.bash_profile | ~/.bash_login | ~/.profile) -> ~/.bashrc -> /etc/bashrc -> ~/.bash_logout$HOME/.profile中会检查系统上有没有$HOME/.bashrc文件,如果有则执行(1) /etc/profile: 此文件为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行. 并从/etc/profile.d目录的配置文件中搜集shell的设置。
(2) /etc/bashrc: 为每一个运行bash shell的用户执行此文件.当bash shell被打开时,该文件被读取(即每次新开一个终端,都会执行bashrc)。(3) ~/.bash_profile: 每个用户都可使用该文件输入专用于自己使用的shell信息,当用户登录时,该文件仅仅执行一次。默认情况下,设置一些环境变量,执行用户的.bashrc文件。~/.bash_profile: 是交互式、login 方式进入 bash 运行的~/.bashrc 是交互式 non-login 方式进入 bash 运行的通常二者设置大致相同,所以通常前者会调用后者。(4) ~/.bashrc: 该文件包含专用于你的bash shell的bash信息,当登录时以及每次打开新的shell时,该该文件被读取。(5) ~/.bash_logout: 当每次退出系统(退出bash shell)时,执行该文件. 另外,/etc/profile中设定的变量(全局)的可以作用于任何用户,而~/.bashrc等中设定的变量(局部)只能继承 /etc/profile中的变量,他们是"父子"关系。在以上文件之中第二行分别写上一句echo “”(用以区分不同的文件),然后退出当前shell,重新登录,便可看出执行顺序。
RETVAL=$? 是将前面的执行结果赋给retval没有规定在设置变量时一定要用双引号,但在进行字符串比较时必须这样做当使用字符时,应总是使用双引号,无论它是单个字符串或是多个单词。对当前路径的处理——$PWD, 但此值随cd指令而变,因此建议保存在另一个变量中#!/bin/basha="$PWD"echo $als $acommand line
command options arguments
options ,执行任务的方式,控制命令的动作,选项也称开关switches或者标志flags
arguments ,指定命令使用的数据空白符,使用空格和制表符作为分隔符的思想,是如此的重要,所以他们有自己的名称,空白符space,制表符,新行字符(Carriage Return回车符)[root@localhost script]# set |grep IFSIFS=$' \t\n'\n newline 新行字符\r return 回车符\t tab 制表符使用者每输入一个键,cursor 就往后移动一格,直到碰到命令行读进 CR(Carriage Return,由 Enter 键产生)字符为止
所谓的命令行,就是在 shell prompt 与 CR 字符之间所输入的文字。若从技术细节来看,shell 会依据 IFS(Internal Field Seperator) 将 command line 所输入的文字给拆解为"字段"(word)。然后再针对特殊字符(meta)先作处理,最后再重组整行 command line 。其中的 IFS 是 shell 预设使用的字段分隔符,可以由一个及多个如下按键组成: * 空格键(White Space) * 制表键(Tab) * 回车键(Enter)系统可接受的命令名称(command-name)可以从如下途径获得: * 明确路径所指定的外部命令 * 命令别名(alias) * 自定功能(function) * shell 内建命令(built-in) * $PATH 之下的外部命令每一个命令行均必需含有命令名称,这是不能缺少的。简单而言(我不敢说这是精确的定义,注一),command line 的每一个字符,分为如下两种:
* literal:也就是普通字符,对 shell 来说没特殊功能。* meta:对 shell 来说,具有特定功能的特殊保留字符。 IFS space,tab,enter CR carriage return = $ >等IFS 是用来拆解 command line 的每一个词(word)用的,因为 shell command line 是按词来处理的。而 CR 则是用来结束 command line 用的。
命令名 | 选项 | 参数 | |
getconf | -a | |grep "PAGE" | |
tune2fs | -l | /dev/sda1 | |grep "Block" |
readelf | -a | /usr/bin/tee | |
pmap | -x | 16441 | |
size | /usr/bin/tee | ||
tar | zxvf | *.tar.gz | |
blockdev | --report | ||
fdisk | -l | ||
stat | /boot | ||
sar | -n DEV | 1 | |
du | -sh | /var/log | |
df | -h | |column -t |
命令名 | 正则 | 通配 |
ls | * | |
grep | * | * |
find | * | |
sed | * | |
awk | * |
bash -v引起的问题
另外在测试source运行脚本时,有些误操作,导致在执行命令时,都会首先输出一下当前运行命令。
如下所示:[u1@localhost performance]$ cd tools/cd tools/[u1@localhost tools]$ cd ..cd ..[u1@localhost performance]$看起来实在是有点多余,作为一个有轻微洁癖的人,当然想办法要消除它。不过一时竟不知如何下手,而且这个现象也不好描述,就算想google也不行呀。不过我看到另外打开的一个section是没有这个问题的,因此想到对比两个section的env。一对比还真发现有些不同,SHLVL这个变量正常的section为1,会首先输出执行命令的section为3。所以怀疑到是在section运行了bash的原因,在会首先输出执行命令section里面连续输入两次exit之后,现象消失了。再次在该section里面输入bash,并没有重现之前的现象。运行bash –help看了一下,怀疑是bash –v/—verbose的原因。再次尝试输入bash -v,现象重现。前后花了不少时间,藉此记录一下~服务列表
有后台进程 | 只有内核模块,无后台进程 |
sshd | lvs |
httpd | iptables |
crond | |
vnc | |
nfsd | |
udevd | |
rsyslogd | |
auditd | |