我的第一个Python程序——lexer

你好，
我开始在python写一个lexer-我第一次尝试做某事
对Python有用(而不是尝试从教程中尝试摘要)。它
还不完整，但我想要一些反馈 - 我是Python
新手，似乎有了python，总是有一个更简单的
做到这一点的方法比您想象的要好。
### 开始 ###
导入
类Lexer(对象)：
def __init __(自我，来源，代币)：
self.source = re.sub(r" \ r？\ n | \ r \ n"，" \ n"，source)
self.tokens =令牌
self.offset = 0
self.result = []
self.line = 1
self._compile()
self._tokenize()
def _compile(self)：
为了姓名，self.tokens.iteritems()中的regex：
self.tokens [name] = re.compile(Regex，re.m)
def _tokenize(self)：
而self.offset 为了姓名，self.tokens.iteritems()中的regex：
match = regex.match(self.source，self.offset)
如果不匹配：继续
self.offset += len(match.group(0))
self.result.append((名称，匹配，self.line))
self.line += match.group(0).count(" \ n")
休息
别的：
提高例外(
'offset％s'％的源语法错误
str(self.offset))
def __str __(self)：
返回" \ n" .join(
[" [l：％s] \ t [o：％s] \ t [％s] \ t'％s'"％
(str(line)，str(match.pos)，名称，match.group(0))
为了姓名，匹配，在self.result中行])))
#测试示例
source = r""""
名称："托马斯"，#只是评论
年龄：37
"""
tokens = {
't_Identifier'：r'[a-za-z _] [a-za-z0-9 _]*'，
't_number'：r'[+ - ]？\ d+'，
't_string'：r'""(？：\\。| [^\\"])*"'，
't_operator'：r'[=：,,;]'，，
't_newline'：r'\ n'，
't_lwsp'：r'[\ t]+'，，
't_comment'：r'(？：\#| //)
打印Lexer(来源，令牌)
### 结尾 ###
问候，
托马斯
- -
ce n'est pas parce qu'ils sont nombreux - avoir tort qu'ils ont Raison！
(coluche)