#源代码分析：python源程序转换为html页面
#此文件由 limodou 分析，如果转载请保留此信息

源代码分析：   

"""
    MoinMoin - Python Source Parser
"""
#文档字符串。 每个模块文件都可以有自已的文档字符串

# Imports
import cgi, string, sys, cStringIO
import keyword, token, tokenize

#############################################################################
### Python Source Parser (does Hilighting)
#############################################################################

#token.NT_OFFSET为终结符结束标记，即小于它的都是终结符，
#_KEYWORD,_TEXT不是终结符，故要大于它
_KEYWORD = token.NT_OFFSET + 1
_TEXT    = token.NT_OFFSET + 2

_colors = {
    token.NUMBER:       '#0080C0',     #对分析出的特定单词设定相应的颜色
    token.OP:           '#0000FF',     #NUMBER 数值 OP 操作符 STRING 字符串
    token.STRING:       '#004080',     #COMMENT 注释，在tokenize中才定义了COMMENT
    tokenize.COMMENT:   '#008000',     #NAME 标识符 ERRORTOKEN 错误的单词
    token.NAME:         '#000000',     #_KEYWORD 关键字 _TEXT 文本
    token.ERRORTOKEN:   '#FF8080',
    _KEYWORD:           '#FF0000',
    _TEXT:              '#000000',
}

class Parser:  #定义Parser类
    """ Send colored python source.
    """
    #文档字符串

    def __init__(self, raw, out = sys.stdout):   #初始化函数,输出到标准输出
        """ Store the source text.
        """
        self.raw = string.strip(string.expandtabs(raw))
        #expandtabs意为将raw中的制表符进行扩展，可以带第二个参数，不带表示一个制表符
        #替换成8个空格
        #strip是去掉首尾空白，包括回车，所以文件最后如果有回车符，也会去掉的

        self.out = out    #给实例属性out赋值

    def format(self, formatter, form): #格式化处理函数
        """ Parse and send the colored source.
        """
        # store line offsets in self.lines
        #保存每行的偏移量在实例的lines属性中
        self.lines = [0, 0]  #数据是从0下标开如，而行是从1开始，故放入两个0
        pos = 0
        while 1:
            pos = string.find(self.raw, '\n', pos) + 1
            #find是从行首开始查找指定字符串，此处查找回车符，pos表示起始位置。
            #指定这个参数，可以不从行首开始进行查找
            #如果没有找到则返回-1,加1后,如果没有找到pos值为0
            if not pos: break        #没找到，说明没有回车符了
            self.lines.append(pos)   #找到了，则将此位置追加到lines后
        self.lines.append(len(self.raw))  #将文件最后结束的长度也追加到lines中

        # parse the source and write it
        self.pos = 0  #记录处理的当前位置
        text = cStringIO.StringIO(self.raw)
        #cStringIO是象StringIO一样的类，主要是想提高处理速度，而且处理时，可以象处理
        #文件一样，使用文件处理函数
        self.out.write('') #输出开始标记
        try:
            tokenize.tokenize(text.readline, self)
            #进行词法分析，第一个参数为一个对象，它是一个象readline一样的函数
            #用来读出一行字符串。在Python中函数也是对象
            #text是一个cStringIO对象，可以象文件一样操作，故有readline函数
            #第二个参数也为一个对象，它是一个有5个元素的函数，因为传入了self，则需要
            #在parser类中定义__call__方法，使self可以象函数一样
        except tokenize.TokenError, ex:  #如果分析出错产生TokenError异常
            msg = ex[0]  #出错消息
            line = ex[1][0]  #出错行
            self.out.write("ERROR: %s%s\n" % (  #输出错误信息
                msg, self.raw[self.lines[line]:]))
        self.out.write('')  #输出结束标记

    def __call__(self, toktype, toktext, (srow,scol), (erow,ecol), line):
        #可以让对象象函数一样被调用，这个函数将用于tokenize中
        #toktype 单词类型
        #toktext 单词内容
        #(srow,scol)开始行列
        #(erow,ecol)结束行列
        #line 找到单词的行
        """ Token handler.
        """
        if 0: print "type", toktype, token.tok_name[toktype], "text", toktext,"start",\
        srow,scol, "end", erow,ecol, ""
        #调试语句，输出分析过程

        # calculate new positions
        oldpos = self.pos  #保存旧位置
        newpos = self.lines[srow] + scol  #根据保存的行位置计算新位置
        self.pos = newpos + len(toktext)  #保存下一个要处理的位置

        # handle newlines
        #处理回车
        if toktype in [token.NEWLINE, tokenize.NL]:  #判断单词是否为回车符
            self.out.write('\n')  #输出\n，为了保证原格式不变
            return

        # send the original whitespace, if needed
        # 如果需要输出原始的空白
        if newpos > oldpos:
            self.out.write(self.raw[oldpos:newpos])

        # skip indenting tokens
        # 跳过缩近单词
        if toktype in [token.INDENT, token.DEDENT]:
            self.pos = newpos  #调整处理位置
            return

        # map token type to a color group
        #映射单词类型到相应的颜色
        if token.LPAR <= toktype and toktype <= token.OP:  #确认操作符范围
            toktype = token.OP
        elif toktype == token.NAME and keyword.iskeyword(toktext):  #确认关键字
            toktype = _KEYWORD
        color = _colors.get(toktype, _colors[_TEXT]) #得到颜色，如果不存在，则使用缺省值

        style = ''  #处理样式
        if toktype == token.ERRORTOKEN:
            style = ' style="border: solid 1.5pt #FF0000;"'

        # send text
        self.out.write('' % (color, style))  #输出处理结果
        self.out.write(cgi.escape(toktext))  #escape会将特殊字符转变成html实体
        #其实只转换了&,<,>，如果第二个参数指定了，表示还要转换"
        self.out.write('')

if __name__ == "__main__":
    import os, sys
    if(len(sys.argv)!=3):           #判断参数个数，如果不为3，则读入文件名
        f1=input("inputfilename:") #输入要处理的.py文件，记住要输入双引号，如："a.txt"
        f2=input("outputfilename:")
    else:
        f1=sys.argv[1]
        f2=sys.argv[2]

    print "Formatting..."

    #读出要处理的文件内容
    source = open(f1).read()

    #处理第一个文件内容,并写入第二个文件
    Parser(source, open(f2, 'wt')).format(None, None)

    print "Finished"
Edited by limodou on
04/12/01 08:15 PM.