Create simple calc as test draft

smnp/token/tokenizer.py

@@ -20,11 +20,14 @@ tokenizers = (
     defaultTokenizer(TokenType.CLOSE_SQUARE),
     defaultTokenizer(TokenType.OPEN_ANGLE),
     defaultTokenizer(TokenType.CLOSE_ANGLE),
+    defaultTokenizer(TokenType.DOUBLE_ASTERISK),
     defaultTokenizer(TokenType.ASTERISK),
     defaultTokenizer(TokenType.ASSIGN),
     defaultTokenizer(TokenType.ARROW),
     defaultTokenizer(TokenType.COMMA),
+    defaultTokenizer(TokenType.SLASH),
     defaultTokenizer(TokenType.MINUS),
+    defaultTokenizer(TokenType.PLUS),
     defaultTokenizer(TokenType.DOTS),
     defaultTokenizer(TokenType.AMP),
     defaultTokenizer(TokenType.DOT),

smnp/token/type.py

@@ -2,6 +2,7 @@ from enum import Enum
 
 
 class TokenType(Enum):
+    DOUBLE_ASTERISK = '**'
     OPEN_CURLY = '{'
     CLOSE_CURLY = '}'
     OPEN_PAREN = '('
@@ -14,7 +15,9 @@ class TokenType(Enum):
     ASSIGN = '='
     ARROW = '->'
     COMMA = ','
+    SLASH = '/'
     MINUS = '-'
+    PLUS = '+'
     DOTS = '...'
     AMP = '&'
     DOT = '.'