2012年5月31日星期四

一个空string引发的血案

这确实是一个血案啊。linux下跑程序,由于是通过脚本来调用程序,结果程序崩溃时没看到通常的segment fault,只有崩溃前的log。然后仔细看了一下代码,很容易就发现问题所在。
代码是这样的:
1 string send_charac_name_org = "aa";
2 string send_charac_name = testfunc((char*)send_charac_name.c_str());
其实就是一个笔误,两处红色的地方不一致导致的。不过本着刻苦钻研的精神,我还是仔细研究了一下。

  1. 首先,程序为什么崩溃,在testfunc里面打印,发现传进去的参数是一个0地址,所以必然崩溃了。
  2. c_str()是返回string变量的一个指针,在sgi版本的stl里面,这个指针_M_start指向string变量的首字符。那就是说这个指针是0,才导致的崩溃了。c_str()通常返回的是const char*,这里强制变为char *。
  3. 按理说定义了一个变量后,应该会分配内存,string里面的指针应该不为空的。说明这种写法 send_charac_name 还处于声明结束,没有定义完成啊。所以我换了个写法:
    string  send_charac_name ;
    send_charac_name =testfunc((char*)send_charac_name.c_str());
    这样就不会出现0地址了,说明string变量已经分配完内存了。
    为了进一步搞清楚,又把stl的代码拿来看了一下,string的基类初始化时是没有分配内存的,只是把_M_start,_M_finish,_M_end_of_storage三个指针置为0了,只有到分配内存的时候才回设置三个指针。string变量定义完成后,sgi的版本是默认分配了8个字节的内存的。

这样看来,这个问题其实很简单,但是今天花时间主要是在看stl的代码上面,从研究生做完项目以后,我就没看到stl代码了,今天看了好一阵,太费劲了。每次看stl源码都有点生不如死的感觉啊。


使用dev-c++调试程序(包括gcc调试选项说明)

一般来说我调试的时候感觉用printf就足够了,不过今天想换换,用dev-c++来调试看看,没想到一直提示工程没有调试信息,后来在网上搜了一下,有好几种方法,试了一下,以下这种方法比较靠谱。我用的是方法2,也是可行的。

方法1:(已验证)
在“工具”-》编译选项-》"Add following commands when calling complier"下面的编辑框里加上: -g3
然后在下面的"Add these commands to the linker command line" 下的编辑框上加上: -g3

转到programs页,把gcc行修改为:gcc.exe -D__DEBUG__
把g++行修改为: g++.exe -D__DEBUG__ ,
点击ok。
重新编译,就能调试了。
方法2:(本人未验证)
在dev c++ 环境中,写程序的时候,写了一个类,但是有点问题,想调试一下,但是调试的时候,老出现这个问题
your project does not have debugging info, do you want to enable debugging and rebuild your project?
在网上搜了一下解决方法
在 tools --> compiler options --> compiler, 有一个选项是:
Add these commands to the linker command line
将此选项勾选,并将内容 添加为 -g3 -gstabs




一些说明:
-gLevel 是gcc编译选项,level表示输出调试信息的级别,Level 3包含更多的信息,如程序中出现的所有宏定义.
-gstabsLevel stabs表示调试信息使用stabs格式。在gcc里面,支持多种格式的调试信息。

以下是对调试文件格式的一些说明:
调试文件格式(Debug File Formats)
 
       调试可执行文件的时候,调试器需要使用由编译器生成的一些调试文件,这些信息将用户可读的变量名字与过程和数据地址联系起来。一般地,这些信息在程序执行时被舍去。调试程序时,这些信息很重要。
        Mac OS X使用两种调试文件格式,stabs和DWARF。stabs格式是Xcode 2.4之前的默认格式。DWARF是Xcode 2.4后的默认格式。stabs格式将调试信息贮存在可执行体的符号表中。参见Mac OS X ABI Mach-O File Format Refer-ence。DWARF格式则将其贮存在特殊的段中,或另一个调试信息文件。
        关于DWARF的更多信息,请看www.dwarfstd.org。关于stabs的更多信息,请看STABS Debug Format 。关于Mach-O文件和它的符号表,请看Mach-O Programming Topics 。

Dev-C++ 使用iconv

今天在调程序的时候,碰到一点问题,因为在linux下不太好调,所以就想在windows下面调一下,但是dev-c++没有iconv的头文件,也没有库,所以上网搜了一篇文章,弄了一下,就可以了。不过问题和iconv到没有什么关系。其实很简单,就是把iconv的库放到dev-c++的目录下,然后在编译的时候加搜索库的选项:-liconv ,这样编译就没问题了。
下面是摘抄:
==========================================
要使用 iconv 之前,我們需先對 Dev C++ 做一些前置工作,包括下載 iconv 元件,lib 載入,及一些 source code 修正等等。

首先是下載 iconv 元件,這裡的範例是使用這個,為了保證能正確運行,請下載一樣的版本。
http://www.d2school.com/cpp_lib_ex/iconv.rar

然後開啟 iconv.h ,找到第 88 行,把 const 前置詞去掉,這是因為不同的作業環境下而做的修正[1]。

extern LIBICONV_DLL_EXPORTED size_t iconv (iconv_t cd, const char* * inbuf, size_t *inbytesleft, char* * outbuf, size_t *outbytesleft);

把 const 前置詞去掉,像這樣。

 extern LIBICONV_DLL_EXPORTED size_t iconv (iconv_t cd, char* * inbuf, size_t *inbytesleft, char* * outbuf, size_t *outbytesleft);

接著把一些相關的檔案複製到 Dev C++ 下的資料夾之中

copy iconv.dll C:\Dev-Cpp\bin
copy iconv.h C:\Dev-Cpp\include
copy libiconv.a C:\Dev-Cpp\lib

再來是設定載入 iconv,開啟  專案\專案選項\參數,並加上 -liconv ,如下圖


這樣就完成前置工作了,接著開個專案,把下面的代碼貼上,執行。


==========================
全文链接:Dev C++ 中文轉碼測試(UTF-8 to big5) Convert Code in Dev C++ Using iconv.


2012年5月17日星期四

GDB调试

昨天查问题的时候在网上搜索的,存一下吧。
============================


最近一段时间在linux下用C做一些学习和开发,但是由于经验不足,问题多多。而段错误就是让我非常头痛的一个问题。不过,目前写一个一千行左右的代码,也很少出现段错误,或者是即使出现了,也很容易找出来,并且处理掉。
    那什么是段错误?段错误为什么是个麻烦事?以及怎么发现程序中的段错误以及如何避免发生段错误呢?
    一方面为了给自己的学习做个总结,另一方面由于至今没有找到一个比较全面介绍这个虽然是“particular problem”的问题,所以我来做个抛砖引玉吧。下面就从上面的几个问题出发来探讨一下“Segmentation faults"吧。
目录
1。什么是段错误?
2。为什么段错误这么“麻烦”?
3。编程中通常碰到段错误的地方有哪些?
4。如何发现程序中的段错误并处理掉?
正文
1。什么是段错误?
下面是来自Answers.com的定义:
Quote:
A segmentation fault (often shortened to segfault) is a particular error condition that can occur during the operation of computer software. In short, a segmentation fault occurs when a program attempts to access a memory location that it is not allowed to access, or attempts to access a memory location in a way that is not allowed (e.g., attempts to write to a read-only location, or to overwrite part of the operating system). Systems based on processors like the Motorola 68000 tend to refer to these events as Address or Bus errors.
Segmentation is one approach to memory management and protection in the operating system. It has been superseded by paging for most purposes, but much of the terminology of segmentation is still used, "segmentation fault" being an example. Some operating systems still have segmentation at some logical level although paging is used as the main memory management policy.
On Unix-like operating systems, a process that accesses invalid memory receives the SIGSEGV signal. On Microsoft Windows, a process that accesses invalid memory receives the STATUS_ACCESS_VIOLATION exception.

另外,这里有个基本上对照的中文解释,来自http://www.linux999.org/html_sql/3/132559.htm
Quote:
所谓的段错误就是指访问的内存超出了系统所给这个程序的内存空间,通常这个值是由gdtr来保存的,他是一个48位的寄存器,其中的32位是保存由它指向的 gdt表,后13位保存相应于gdt的下标,最后3位包括了程序是否在内存中以及程序的在cpu中的运行级别,指向的gdt是由以64位为一个单位的表,在这张表中就保存着程序运行的代码段以及数据段的起始地址以及与此相应的段限和页面交换还有程序运行级别还有内存粒度等等的信息。一旦一个程序发生了越界访问,cpu就会产生相应的异常保护,于是segmentation fault就出现了

通过上面的解释,段错误应该就是访问了不可访问的内存,这个内存区要么是不存在的,要么是受到系统保护的。
2。为什么段错误这么麻烦?
中国linux论坛有一篇精华帖子《Segment fault 之永远的痛》(http://www.linuxforum.net/forum/gshowflat.php?Cat=&Board=program&Number=193239&page=2&view=collapsed&sb=5&o=all&fpart=1&vc=1)
在主题帖子里头,作者这么写道:
Quote:
写程序好多年了,Segment fault 是许多C程序员头疼的提示。指针是好东西,但是随着指针的使用却诞生了这个同样威力巨大的恶魔。
Segment fault 之所以能够流行于世,是与Glibc库中基本所有的函数都默认型参指针为非空有着密切关系的。
不知道什么时候才可以有能够处理NULL的glibc库诞生啊!
不得已,我现在为好多的函数做了衣服,避免glibc的函数被NULL给感染,导致我的Mem访问错误,而我还不知道NULL这个病毒已经在侵蚀我的身体了。
Segment fault 永远的痛......

    后面有好多网友都跟帖了,讨论了Segmentation faults为什么这么“痛”,尤其是对于服务器程序来说,是非常头痛的,为了提高效率,要尽量减少一些不必要的段错误的“判断和处理”,但是不检查又可能会存在段错误的隐患。
    那么如何处理这个“麻烦”呢?
    就像人不可能“完美”一样,由人创造的“计算机语言“同样没有“完美”的解决办法。
    我们更好的解决办法也许是:
    通过学习前人的经验和开发的工具,不断的尝试和研究,找出更恰当的方法来避免、发现并处理它。对于一些常见的地方,我们可以避免,对于一些“隐藏”的地方,我们要发现它,发现以后就要及时处理,避免留下隐患。
    下面我们可以通过具体的实验来举出一些经常出现段错误的地方,然后再举例子来发现和找出这类错误藏身之处,最后处理掉。
3。编程中通常碰到段错误的地方有哪些?
为了进行下面的实验,我们需要准备两个工具,一个是gcc,一个是gdb
我是在ubuntu下做的实验,安装这两个东西是比较简单的
Quote:
sudo apt-get install gcc-4.0 libc6-dev
sudo apt-get install gdb
好了,开始进入我们的实验,我们粗略的分一下类
1)往受到系统保护的内存地址写数据
    有些内存是内核占用的或者是其他程序正在使用,为了保证系统正常工作,所以会受到系统的保护,而不能任意访问。
例子1:
Code:
#include <stdio.h>intmain(){        int i = 0;        scanf ("%d", i); /* should have used &i */        printf ("%d/n", i);        return 0;}
[Ctrl+A Select All]

    编译和执行一下
Quote:
falcon@falcon:~/temp$ gcc -o segerr segerr.c
falcon@falcon:~/temp$ ./segerr
10
段错误
    咋一看,好像没有问题哦,不就是读取一个数据然后给输出来吗?
下面我们来调试一下,看看是什么原因?
Quote:
falcon@falcon:~/temp$ gcc -g -o segerr segerr.c        --加-g选项查看调试信息
falcon@falcon:~/temp$ gdb ./segerr
GNU gdb 6.4-debian
Copyright 2005 Free Software Foundation, Inc.
GDB is free software, covered by the GNU General Public License, and you are
welcome to change it and/or distribute copies of it under certain conditions.
Type "show copying" to see the conditions.
There is absolutely no warranty for GDB. Type "show warranty" for details.
This GDB was configured as "i486-linux-gnu"...Using host libthread_db library "/ lib/tls/i686/cmov/libthread_db.so.1".
(gdb) l                    --用l(list)显示我们的源代码
1       #include <stdio.h>
2
3       int
4       main()
5       {
6               int i = 0;
7
8               scanf ("%d", i); /* should have used &i */
9               printf ("%d/n", i);
10              return 0;
(gdb) b 8                --用b(break)设置断点
Breakpoint 1 at 0x80483b7: file segerr.c, line 8.
(gdb) p i                --用p(print)打印变量i的值[看到没,这里i的值是0哦]
$1 = 0
(gdb) r                    --用r(run)运行,直到断点处
Starting program: /home/falcon/temp/segerr
Breakpoint 1, main () at segerr.c:8
8               scanf ("%d", i); /* should have used &i */ --[试图往地址0处写进一个值]
(gdb) n                    --用n(next)执行下一步
10
Program received signal SIGSEGV, Segmentation fault.
0xb7e9a1ca in _IO_vfscanf () from /lib/tls/i686/cmov/libc.so.6
(gdb) c            --在上面我们接收到了SIGSEGV,然后用c(continue)继续执行
Continuing.
Program terminated with signal SIGSEGV, Segmentation fault.
The program no longer exists.
(gdb) quit        --退出gdb

果然
我们“不小心”把&i写成了i
而我们刚开始初始化了i为0,这样我们不是试图向内存地址0存放一个值吗?实际上很多情况下,你即使没有初始化为零,默认也可能是0,所以要特别注意。
补充:
可以通过man 7 signal查看SIGSEGV的信息。
Quote:
falcon@falcon:~/temp$ man 7 signal | grep SEGV
Reformatting signal(7), please wait...
       SIGSEGV      11       Core    Invalid memory reference

例子2:
Code:
#include <stdio.h>intmain(){        char *p;        p = NULL;        *p = 'x';        printf("%c", *p);        return 0;}
[Ctrl+A Select All]

很容易发现,这个例子也是试图往内存地址0处写东西。
这里我们通过gdb来查看段错误所在的行
Quote:
falcon@falcon:~/temp$ gcc -g -o segerr segerr.c
falcon@falcon:~/temp$ gdb ./segerr
GNU gdb 6.4-debian
Copyright 2005 Free Software Foundation, Inc.
GDB is free software, covered by the GNU General Public License, and you are
welcome to change it and/or distribute copies of it under certain conditions.
Type "show copying" to see the conditions.
There is absolutely no warranty for GDB. Type "show warranty" for details.
This GDB was configured as "i486-linux-gnu"...Using host libthread_db library "/lib/tls/i686/cmov/libthread_db.so.1".
(gdb) r        --直接运行,我们看到抛出段错误以后,自动显示出了出现段错误的行,这就是一个找出段错误的方法
Starting program: /home/falcon/temp/segerr
Program received signal SIGSEGV, Segmentation fault.
0x08048516 in main () at segerr.c:10
10              *p = 'x';
(gdb)

2)内存越界(数组越界,变量类型不一致等)
例子3:

Code:
#include <stdio.h>intmain(){        char test[1];        printf("%c", test[1000000000]);        return 0;}
[Ctrl+A Select All]

这里是比较极端的例子,但是有时候可能是会出现的,是个明显的数组越界的问题
或者是这个地址是根本就不存在的
例子4:

Code:
#include <stdio.h>intmain(){        int b = 10;        printf("%s/n", b);        return 0;}
[Ctrl+A Select All]

我们试图把一个整数按照字符串的方式输出出去,这是什么问题呢?
由于还不熟悉调试动态链接库,所以
我只是找到了printf的源代码的这里
Quote:
声明部分:
    int pos =0 ,cnt_printed_chars =0 ,i ;
unsigned char *chptr ;
va_list ap ;
%s格式控制部分:
case 's':
    chptr =va_arg (ap ,unsigned char *);
    i =0 ;
    while (chptr [i ])
    {...
        cnt_printed_chars ++;
        putchar (chptr [i ++]);
}
仔细看看,发现了这样一个问题,在打印字符串的时候,实际上是打印某个地址开始的所有字符,但是当你想把整数当字符串打印的时候,这个整数被当成了一个地址,然后printf从这个地址开始去打印字符,指导某个位置上的值为/0。所以,如果这个整数代表的地址不存在或者不可访问,自然也是访问了不该访问的内存——segmentation fault。
类似的,还有诸如:sprintf等的格式控制问题
比如,试图把char型或者是int的按照%s输出或存放起来,如:

Code:
#include <stdio.h>#include <string.h>char c='c';int i=10;char buf[100];printf("%s", c);        //试图把char型按照字符串格式输出,这里的字符会解释成整数,再解释成地址,所以原因同上面那个例子printf("%s", i);            //试图把int型按照字符串输出memset(buf, 0, 100);sprintf(buf, "%s", c);    //试图把char型按照字符串格式转换memset(buf, 0, 100);sprintf(buf, "%s", i);   //试图把int型按照字符串转换
[Ctrl+A Select All]
3)其他
其实大概的原因都是一样的,就是段错误的定义。但是更多的容易出错的地方就要自己不断积累,不段发现,或者吸纳前人已经积累的经验,并且注意避免再次发生。
例如:
<1>定义了指针后记得初始化,在使用的时候记得判断是否为NULL
<2>在使用数组的时候是否被初始化,数组下标是否越界,数组元素是否存在等
<3>在变量处理的时候变量的格式控制是否合理等
再举一个比较不错的例子:
我在进行一个多线程编程的例子里头,定义了一个线程数组
#define THREAD_MAX_NUM
pthread_t thread[THREAD_MAX_NUM];
用pthread_create创建了各个线程,然后用pthread_join来等待线程的结束
刚开始我就直接等待,在创建线程都成功的时候,pthread_join能够顺利等待各个线程结束,但是一旦创建线程失败,那用pthread_join来等待那个本不存在的线程时自然会存在访问不能访问的内存的情况,从而导致段错误的发生,后来,通过不断调试和思考,并且得到网络上资料的帮助,找到了上面的原因和解决办法:
在创建线程之前,先初始化我们的线程数组,在等待线程的结束的时候,判断线程是否为我们的初始值
如果是的话,说明我们的线程并没有创建成功,所以就不能等拉。否则就会存在释放那些并不存在或者不可访问的内存空间。
上面给出了很常见的几种出现段错误的地方,这样在遇到它们的时候就容易避免拉。但是人有时候肯定也会有疏忽的,甚至可能还是会经常出现上面的问题或者其他常见的问题,所以对于一些大型一点的程序,如何跟踪并找到程序中的段错误位置就是需要掌握的一门技巧拉。
4。如何发现程序中的段错误?
有个网友对这个做了比较全面的总结,除了感谢他外,我把地址弄了过来。文章名字叫《段错误bug的调试》(http://www.cublog.cn/u/5251/showart.php?id=173718),应该说是很全面的。
而我常用的调试方法有:
1)在程序内部的关键部位输出(printf)信息,那样可以跟踪 段错误 在代码中可能的位置
为了方便使用这种调试方法,可以用条件编译指令#ifdef DEBUG和#endif把printf函数给包含起来,编译的时候加上-DDEBUG参数就可以查看调试信息。反之,不加上该参数进行调试就可以。
2)用gdb来调试,在运行到段错误的地方,会自动停下来并显示出错的行和行号
这个应该是很常用的,如果需要用gdb调试,记得在编译的时候加上-g参数,用来显示调试信息,对于这个,网友在《段错误bug的调试》文章里创造性的使用这样的方法,使得我们在执行程序的时候就可以动态扑获段错误可能出现的位置:通过扑获SIGSEGV信号来触发系统调用gdb来输出调试信息。如果加上上面提到的条件编译,那我们就可以非常方便的进行段错误的调试拉。
3)还有一个catchsegv命令
通过查看帮助信息,可以看到
Quote:
Catch segmentation faults in programs
这个东西就是用来扑获段错误的,不过打印出来的是一些register里头的东西,“看不太懂”。
到这里,“初级总结篇”算是差不多完成拉。欢迎指出其中表达不当甚至错误的地方,先谢过!

参考资料[具体地址在上面的文章中都已经给出拉]:
后记
虽然感觉没有写什么东西,但是包括查找资料和打字,也花了好些几个小时,不过总结一下也是值得的,欢迎和我一起交流和讨论,也欢迎对文章中表达不当甚至是错误的地方指正一下 
[]

linux 程序调试

昨天调一个很简单的程序,就是从一个数据库拉取数据放到另一个数据库,谁知道一直出现 Segmentation Fault 的错误,加了printf打印,发现在mysql.close()的时候出现的错误。心里一凉,不会运气这么背吧,碰到mysql的bug?遂google之,然而还是没有找到合理的解释。只有自己调试看看了,怎么调试呢?以前做路由器的时候,也就是printf来打印,如果严重的话内核会打印堆栈,然后track之,就可以定位了。在linux下?晕了。
然后在网上搜索了半天,找到一篇用gdb调试的文章,简而言之就是编译是加-g选项,然后用gdb ./test 来调试,试了一下,确实是在mysql clsoe的时候,调用free_root的时候,在my_alloc.c里面出现错误,但是居然提示找不到my_alloc.c,叉叉啊。
冷静的想了一下,应该不会是mysql的错误,要不之前的代码岂不是问题很多。接下来采用屏蔽代码的办法,发现确实是一段代码对内存操作存在问题,由于是老代码,当时看了有疑问,但是想如果出问题的话早就有问题了,就没多想。
上代码:
01 while ((row = mysql_fetch_row(res)) != NULL)
02 {
03      k++;
04      pColLen = mysql_fetch_lengths(res);
05
06      if(NULL != row && NULL != pColLen)
07      {
08          for(int i=0; i < num_fields; i++)
09          {
10              memset(aryColValue, 0, 1024);
11              if (pColLen[i] > 1024)
12              {
13                  printf("Error:%d\r\n",pColLen[i]);
14                  printf("Error:%s\r\n",row[i]);
15              }
16              memmove(aryColValue, row[i], pColLen[i]);
17              if(utf8Flag==1)
18              {
19                  strFieldValue = Utf8ToGbk(aryColValue);
20              }
21              else
22              {
23                  strFieldValue = aryColValue;
24              }
25              if(!tmpresult.insert(std::map<std::string, std::string>::value_type(fields[i].name, strFieldValue)).second)
26              {
27                  dblog.WriteLog( "Error:tmpresult.insert(%s)失败\n",strFieldValue.c_str());
28              }
29          }
30          result.push_back(tmpresult);
31          tmpresult.clear();
32      }
33 }
memset(aryColValue, 0, 1024);
memmove(aryColValue, row[i], pColLen[i]);
这两句真是坑爹啊,aryColValue只有1024个字节,但是pCollen表示每个字段的长度,很有可能超过1024字节的,而且我看了数据库里面相关字段,是mediumtext类型,最大长度2的24次方-1个字节。这代码,无语了。而且看了其他一些代码,也是有最多1024*5个字节,这太乱来了吧。就是这段代码,直接导致内存操作越界了。
修改为tmpresult[fields[i].name] = row[i];tmpresult是一个map<string,string>,string长度至少是32位的,够用了。

我发现这老代码真是不可相信啊,各种乱来。预期后续可能还会碰到不少问题,这样看了我还要搞不少时间啊。

2012年5月4日星期五

手机连接笔记本热点上网的问题

步骤很简单:
1.在笔记本新建一个无线临时网络,加密方式要选wep。然后设置网络名和密码就可以了。
2.通常系统会默认把已有的网络连接设为共享,按理说这样就可以了。手机搜索wifi连上就可以了。
不过今天一直不行,现象就是在itouch上面看,分配到的ip地址一直是169。。。。,也不能上网。然后把本地的有线网络连接断开共享,重新设置连接共享就可以了,在itouch上面看分配到的ip就是192.168。。。。。,也可以上网了。

2012年5月1日星期二

blogger一个让我不爽的地方

想看看他人的博客,居然都找不到推荐的地方。
最后在“概述”里面,右下角的一个咔咔地方有一个最近值得关注的博客,这才找到地方了http://blogsofnote.blogspot.com/