Lib/token.pyこのモジュールは解析木の葉ノード(終端記号)の数値を表す定数を提供します。バージョン間で変わります。このモジュールは、数値コードから名前へのマッピングと、いくつかの関数も提供しています。ヘッダファイルの定義を反映します。token.tok_name¶ディクショナリはこのモジュールで定義されている定数の数値を名前の文字列へマップし、より人が読みやすいように解析木を表現します。モジュールによって利用されます。token.COMMENT¶コメントであることを表すために使われるトークン値です。終わりではない改行を表すために使われるトークン値。Pythonコードの論理行の終わりを表します。``NL``トークンはコードの論理行が複数の物理行にわたって続いているときに作られます。テキストにデコードするために使われるエンコーディングを示すトークン値。トーケンが追加されました。トークンが追加されました。トークンが削除されました。トークンとして扱われます。