第 12 章 编程

目录

12.1. Shell 脚本
12.1.1. POSIX shell 兼容性
12.1.2. Shell 参数
12.1.3. Shell 条件语句
12.1.4. shell 循环
12.1.5. Shell 环境变量
12.1.6. shell 命令行的处理顺序
12.1.7. 用于 shell 脚本的应用程序
12.2. 解释性语言中的脚本
12.2.1. 调试解释性语言代码
12.2.2. 使用 shell 脚本的 GUI 程序
12.2.3. 定制 GUI(图形用户界面)文件管理器的行为
12.2.4. Perl 短脚本的疯狂
12.3. 编译型语言代码
12.3.1. C
12.3.2. 简单的 C 程序(gcc)
12.3.3. Flex — 一个更好的 Lex
12.3.4. Bison — 一个更好的 Yacc
12.4. 静态代码分析工具
12.5. 调试
12.5.1. 基本的 gdb 使用命令
12.5.2. 调试 Debian 软件包
12.5.3. 获得栈帧
12.5.4. 高级 gdb 命令
12.5.5. 检查库依赖性
12.5.6. 动态调用跟踪工具
12.5.7. 调试与 X 相关的错误
12.5.8. 内存泄漏检测工具
12.5.9. 反汇编二进制程序
12.6. 编译工具
12.6.1. make
12.6.2. Autotools(自动化工具)
12.6.2.1. 编译并安装程序
12.6.2.2. 卸载程序
12.6.3. Meson
12.7. Web
12.8. 源代码转换
12.9. 制作 Debian 包

这里我给出一些 Debian 系统中的信息,帮助学习编程的人找出打包的源代码。下面是值得关注的软件包和与之对应的文档。

安装 manpagesmanpages-dev 包之后,可以通过运行“man 名称”查看手册页中的参考信息。安装了 GNU 工具的相关文档包之后,可以通过运行“info 程序名称”查看参考文档。某些 GFDL 协议的文档与 DFSG 并不兼容,所以你可能需要在 main 仓库中包含 contribnon-free 才能下载并安装它们。

请考虑使用版本控制系统工具。参见 第 10.5 节 “Git”

[警告] 警告

不要用“test”作为可执行的测试文件的名字,因为 shell 中内建有“test”命令。

[小心] 小心

你可以把从源代码编译得到的程序直接放到“/usr/local”或“/opt”目录,这样可以避免与系统程序撞车。

[提示] 提示

“歌曲:99瓶啤酒”的代码示例可以给你提供实践各种语言的好范本。

Shell 脚本 是指包含有下面格式的可执行的文本文件。

#!/bin/sh
 ... command lines

第一行指明了读取并执行这个文件的 shell 解释器。

读懂 shell 脚本的最好 办法是先理解类 UNIX 系统是如何工作的。这里有一些 shell 编程的提示。看看“Shell 错误”(https://www.greenend.org.uk/rjk/2001/04/shell.html),可以从错误中学习。

不像 shell 交互模式(参见第 1.5 节 “简单 shell 命令”第 1.6 节 “类 Unix 的文本处理”),shell 脚本会频繁使用参数、条件和循环等。

每个命令都会返回 退出状态,这可以被条件语句使用。

  • 成功:0 ("True")

  • 失败:非 0 ("False")

[注意] 注意

"0" 在 shell 条件语句中的意思是 "True",然而 "0" 在 C 条件语句中的含义为 "False"。

[注意] 注意

"[" 跟 test 命令是等价的,它评估到 "]" 之间的参数来作为一个条件表达式.

如下所示是需要记忆的基础 条件语法

  • "command && if_success_run_this_command_too || true"

  • "command || if_not_success_run_this_command_too || true"

  • 如下所示是多行脚本片段

if [ conditional_expression ]; then
 if_success_run_this_command
else
 if_not_success_run_this_command
fi

这里末尾的“|| true”是需要的,它可以保证这个 shell 脚本在不小心使用了“-e”选项而被调用时不会在该行意外地退出。



算术整数的比较在条件表达式中为 "-eq","-ne","-lt","-le","-gt" 和 "-ge"。

shell 大致以下列的顺序来处理一个脚本。

  • shell 读取一行。

  • 如果该行包含有"…"'…',shell 对该行各部分进行分组作为 一个标识(one token) (译注:one token 是指 shell 识别的一个结构单元).

  • shell 通过下列方式将行中的其它部分分隔进 标识(tokens)

    • 空白字符:空格 tab 换行符

    • 元字符: < > | ; & ( )

  • shell 会检查每一个不位于 "…"'...' 的 token 中的 保留字 来调整它的行为。

    • 保留字if then elif else fi for in while unless do done case esac

  • shell 展开不位于 "…"'...' 中的 别名

  • shell 展开不位于 "…"'...' 中的 波浪线

    • "~" → 当前用户的家目录

    • "~user" → user 的家目录

  • shell 将不位于 '...' 中的 变量 展开为它的值。

    • 变量:"$PARAMETER" 或 "${PARAMETER}"

  • shell 展开不位于 '...' 中的 命令替换

    • "$( command )" → "command" 的输出

    • "` command `" → "command" 的输出

  • shell 将不位于 "…"'...' 中的 glob 路径 展开为匹配的文件名。

    • * → 任何字符

    • ? → 一个字符

    • […] → 任何位于 "" 中的字符

  • shell 从下列几方面查找 命令 并执行。

    • 函数 定义

    • 内建命令

    • $PATH” 中的可执行文件

  • shell 前往下一行,并按照这个顺序从头再次进行处理。

双引号中的单引号是没有效果的。

在 shell 中执行 “set -x” 或使用 “-x” 选项启动 shell 可以让 shell 显示出所有执行的命令。这对调试来说是非常方便的。


当你希望在 Debian 上自动化执行一个任务,你应当首先使用解释性语言脚本。选择解释性语言的准则是:

  • 使用 dash,如果任务是简单的,使用 shell 程序联合 CLI 命令行程序。

  • 使用 python3,如果任务不是简单的,你从零开始写。

  • 使用 perltclruby……,如果在 Debian 上有用这些语言写的现存代码,需要为完成任务进行调整。

如果最终代码太慢,为提升执行速度,你可以用编译型语言重写关键部分,从解释性语言调用。

shell 脚本能够被改进用来制作一个吸引人的 GUI(图形用户界面)程序。技巧是用一个所谓的对话程序来代替使用 echoread 命令的乏味交互。


这里是一个用来演示的 GUI 程序的例子,仅使用一个 shell 脚本是多么容易。

这个脚本使用 zenity 来选择一个文件 (默认 /etc/motd) 并显示它。

这个脚本的 GUI 启动器能够按 第 9.4.10 节 “从 GUI 启动一个程序” 创建。

#!/bin/sh -e
# Copyright (C) 2021 Osamu Aoki <osamu@debian.org>, Public Domain
# vim:set sw=2 sts=2 et:
DATA_FILE=$(zenity --file-selection --filename="/etc/motd" --title="Select a file to check") || \
  ( echo "E: File selection error" >&2 ; exit 1 )
# Check size of archive
if ( file -ib "$DATA_FILE" | grep -qe '^text/' ) ; then
  zenity --info --title="Check file: $DATA_FILE" --width 640  --height 400 \
    --text="$(head -n 20 "$DATA_FILE")"
else
  zenity --info --title="Check file: $DATA_FILE" --width 640  --height 400 \
    --text="The data is MIME=$(file -ib "$DATA_FILE")"
fi

这种使用 shell 脚本的 GUI 程序方案只对简单选择的场景有用。如果你写一个其它任何复杂的程序,请考虑在功能更强的平台上写。


这里,包括了 第 12.3.3 节 “Flex — 一个更好的 Lex”第 12.3.4 节 “Bison — 一个更好的 Yacc”,用来说明 类似编译器的程序怎样用C 语言来编写,是通过编译高级描述到 C 语言。

你可以通过下列方法设置适当的环境来编译使用 C 编程语言编写的程序。

# apt-get install glibc-doc manpages-dev libc6-dev gcc build-essential

libc6-dev 软件包,即 GNU C 库,提供了 C 标准库,它包含了 C 编程语言所使用的头文件和库例程。

参考信息如下。

  • info libc”(C 库函数参考)

  • gcc(1) 和 “info gcc

  • each_C_library_function_name(3)

  • Kernighan & Ritchie,“C 程序设计语言”,第二版(Prentice Hall)

Flex 是兼容 Lex 的快速语法分析程序生成器。

可以使用 “info flex” 查看 flex(1) 的教程。

很多简单的例子能够在 “/usr/share/doc/flex/examples/”下发现。[8]

在 Debian 里,有几个软件包提供 Yacc兼容的前瞻性的 LR 解析LALR 解析的生成器。


可以使用 “info bison” 查看 bison(1) 的教程。

你需要提供你自己的的 "main()" 和 "yyerror()".通常,Flex 创建的 "main()" 调用 "yyparse()",它又调用了 "yylex()".

这里是一个创建简单终端计算程序的例子。

让我们创建 example.y:

/* calculator source for bison */
%{
#include <stdio.h>
extern int yylex(void);
extern int yyerror(char *);
%}

/* declare tokens */
%token NUMBER
%token OP_ADD OP_SUB OP_MUL OP_RGT OP_LFT OP_EQU

%%
calc:
 | calc exp OP_EQU    { printf("Y: RESULT = %d\n", $2); }
 ;

exp: factor
 | exp OP_ADD factor  { $$ = $1 + $3; }
 | exp OP_SUB factor  { $$ = $1 - $3; }
 ;

factor: term
 | factor OP_MUL term { $$ = $1 * $3; }
 ;

term: NUMBER
 | OP_LFT exp OP_RGT  { $$ = $2; }
  ;
%%

int main(int argc, char **argv)
{
  yyparse();
}

int yyerror(char *s)
{
  fprintf(stderr, "error: '%s'\n", s);
}

让我们创建 example.l:

/* calculator source for flex */
%{
#include "example.tab.h"
%}

%%
[0-9]+ { printf("L: NUMBER = %s\n", yytext); yylval = atoi(yytext); return NUMBER; }
"+"    { printf("L: OP_ADD\n"); return OP_ADD; }
"-"    { printf("L: OP_SUB\n"); return OP_SUB; }
"*"    { printf("L: OP_MUL\n"); return OP_MUL; }
"("    { printf("L: OP_LFT\n"); return OP_LFT; }
")"    { printf("L: OP_RGT\n"); return OP_RGT; }
"="    { printf("L: OP_EQU\n"); return OP_EQU; }
"exit" { printf("L: exit\n");   return YYEOF; } /* YYEOF = 0 */
.      { /* ignore all other */ }
%%

按下面的方法来从 shell 提示符执行来尝试这个:

$ bison -d example.y
$ flex example.l
$ gcc -lfl example.tab.c lex.yy.c -o example
$ ./example
$ ./example
1 + 2 * ( 3 + 1 ) =
L: NUMBER = 1
L: OP_ADD
L: NUMBER = 2
L: OP_MUL
L: OP_LFT
L: NUMBER = 3
L: OP_ADD
L: NUMBER = 1
L: OP_RGT
L: OP_EQU
Y: RESULT = 9

exit
L: exit

类似 lint 的工具能够帮助进行自动化 静态代码分析

类似 Indent 的工具能够帮助人进行代码检查,通过一致性的重新格式化源代码。

类似 Ctags 的工具能够帮助人进行代码检查,通过利用源代码中发现的名字生成 索引(或标签)文件。

[提示] 提示

配置你喜欢的编辑器(emacsvim)使用异步 lint 引擎插件帮助你的代码写作。这些插件通过充分利用 Language Server Protocol 的优点,会变得非常强大。因它们在快速开发,使用它们上游的代码代替 Debian 软件包,是一个好的选择。


调试是程序中很重要的一部分。知道怎样去调试程序,能够让你成为一个好的 Debian 使用者, 能够做出有意义的错误报告。


Debian 上原始的调试器gdb(1), 它能让你在程序执行的时候检查程序。

让我们通过如下所示的命令来安装 gdb 及其相关程序。

# apt-get install gdb gdb-doc build-essential devscripts

好的 gdb 教程能够被发现:

  • info gdb

  • /usr/share/doc/gdb-doc/html/gdb/index.html 的 “Debugging with GDB”

  • tutorial on the web

这里是一个简单的列子,用 gdb(1) 在"程序"带有 "-g" 选项编译的时候来产生调试信息。

$ gdb program
(gdb) b 1                # set break point at line 1
(gdb) run args           # run program with args
(gdb) next               # next line
...
(gdb) step               # step forward
...
(gdb) p parm             # print parm
...
(gdb) p parm=12          # set value to 12
...
(gdb) quit
[提示] 提示

许多 gdb(1) 命令都能被缩写。Tab 扩展跟在 shell 一样都能工作。

Debian 系统在默认情况下,所有安装的二进制程序会被 stripped,因此大部分调试符号(debugging symbols)在通常的软件包里面会被移除。为了使用 gdb(1) 调试 Debian 软件包, *-dbgsym 软件包需要被安装。(例如,安装 coreutils-dbgsym,用于调试coreutils)源代码软件包和普通的二进制软件包一起自动生成 *-dbgsym 软件包。那些调试软件包将被独立放在 debian-debug 档案库。更多信息请参阅 Debian Wiki 文档

如果一个需要被调试的软件包没有提供其 *-dbgsym 软件包,你需要按如下所示的从源代码中重构并且安装它。

$ mkdir /path/new ; cd /path/new
$ sudo apt-get update
$ sudo apt-get dist-upgrade
$ sudo apt-get install fakeroot devscripts build-essential
$ apt-get source package_name
$ cd package_name*
$ sudo apt-get build-dep ./

按需修改 bug。

软件包调试版本跟它的官方 Debian 版本不冲突,例如当重新编译已存在的软件包版本产生的 "+debug1" 后缀,如下所示是编译未发行的软件包版本产生的 "~pre1" 后缀。

$ dch -i

如下所示编译并安装带有调试符号的软件包。

$ export DEB_BUILD_OPTIONS="nostrip noopt"
$ debuild
$ cd ..
$ sudo debi package_name*.changes

你需要检查软件包的构建脚本并确保编译二进制的时候使用了 "CFLAGS=-g -Wall" 选项。

当你碰到程序崩溃的时候,报告 bug 时附上栈帧信息是个不错的注意。

使用如下方案之一,可以通过 gdb(1) 取得栈帧信息:

对于无限循环或者键盘冻结的情况,你可以通过按 Ctrl-\Ctrl-C 或者执行 “kill -ABRT PID” 强制奔溃程序。(参见 第 9.4.12 节 “杀死一个进程”)

[提示] 提示

通常,你会看到堆栈顶部有一行或者多行有 "malloc()" 或 "g_malloc()".当这个出现的时候,你的堆栈不是非常有用的。找到一些有用信息的一个简单方法是设置环境变量 "$MALLOC_CHECK_" 的值为 2 (malloc(3)).你可以通过下面的方式在运行 gdb 时设置。

 $ MALLOC_CHECK_=2 gdb hello

Make 是一个维护程序组的工具。一旦执行 make(1),make 会读取规则文件 Makefile,自从上次目标文件被修改后,如果目标文件依赖的相关文件发生了改变,那么就会更新目标文件,或者目标文件不存在,那么这些文件更新可能会同时发生。

规则文件的语法如下所示。

target: [ prerequisites ... ]
 [TAB]  command1
 [TAB]  -command2 # ignore errors
 [TAB]  @command3 # suppress echoing

这里面的 "[TAB]" 是一个 TAB 代码。每一行在进行变量替换以后会被 shell 解释。在行末使用 "\" 来继续此脚本。使用 "$$" 输入 "$" 来获得 shell 脚本中的环境变量值。

目标跟相关文件也可以通过隐式规则给出,例如,如下所示。

%.o: %.c header.h

在这里,目标包含了 "%" 字符 (只是它们中确切的某一个)。"%" 字符能够匹配实际的目标文件中任意一个非空的子串。相关文件同样使用 "%" 来表明它们是怎样与目标文件建立联系的。



运行 "make -p -f/dev/null" 命令来查看内部自动化的规则。

Autotools 是一套编程工具,被设计作为协助将源代码软件包移植到许多 类 Unix 系统。

  • Autoconf 是一个从"configure.ac" 生成 shell 脚本 "configure" 的工具。

    • "configure" 随后用于从"Makefile.in"模板生成"Makefile"。

  • Automake 是一个从"Makefile.am" 生成"Makefile.in" 的工具。

  • Libtool 是一个 shell 脚本,当从源代码编译共享库时,用来定位软件的移植性问题。

软件构建系统也在演进:

  • Autotools 位于 Make 之上,从 90 年代开始,便是可移植构建架构的事实标准。它是相当慢的。

  • CMake 在 2000 年初始发布,显著地改善了速度,但是它源于建立在本质上慢的 Make 之上。 (目前 Ninja 能够作为它的后端。)

  • Ninja 在 2012 年初始发布,是为了取代 Make,进一步改善构建速度,在设计上,它的输入文件由上层的构建系统来生成。

  • Meson 在 2013 年初始发布,是新的和流行的,并且是快速的和上层的构建系统,它使用 Ninja 作为它的后端。

参见在 "The Meson Build system" 和 "The Ninja build system"里发现的文档。

基本的动态交互网页可由如下方法制作。

  • 呈现给浏览器用户的是 HTML 形式。

  • 填充并点击表单条目将会从浏览器向 web 服务器发送带有编码参数的下列 URL 字符串之一。

    • "https://www.foo.dom/cgi-bin/program.pl?VAR1=VAL1&VAR2=VAL2&VAR3=VAL3"

    • "https://www.foo.dom/cgi-bin/program.py?VAR1=VAL1&VAR2=VAL2&VAR3=VAL3"

    • "https://www.foo.dom/program.php?VAR1=VAL1&VAR2=VAL2&VAR3=VAL3"

  • 在 URL 里面 "%nn" 是使用一个 16 进制字符的 nn 值代替。

  • 环境变量设置为: "QUERY_STRING="VAR1=VAL1 VAR2=VAL2 VAR3=VAL3"".

  • Web服务器上的CGI程序 (任何一个 "program.*")在执行时,都会使用"$QUERY_STRING"环境变量.

  • CGI 程序的 stdout发送到浏览器,作为交互式的动态 web 页面展示。

出于安全考虑,最好不要自己从头编写解析 CGI 参数的手艺. 在 Per l和 Python 中有现有的模块可以使用. PHP 中包含这些功能. 当需要客户端数据存储时, 可使用HTTP cookies . 当需要处理客户端数据时, 通常使用 Javascript.

更多信息,参见 通用网关接口, Apache 软件基金会, 和 JavaScript.

直接在浏览器地址中输入 https://www.google.com/search?hl=en&ie=UTF-8&q=CGI+tutorial 就可以在 Google 上搜索 “CGI tutorial”。这是在 Google 服务器上查看 CGI 脚本运行的好方法。

源代码转换程序。


如果你想制作一个 Debian 包,阅读下面内容。

debmake, dh-make, dh-make-perl 等软件包,对软件包打包过程,也有帮助。



[8] 在当前系统下,为了让它们工作,需要做一些 调整