class Tokenizer
extends java.lang.Object
| Constructor and Description |
|---|
Tokenizer() |
| Modifier and Type | Method and Description |
|---|---|
private java.util.List<Token> |
deriveTokensFrom(java.lang.String infixTagExpression,
java.util.List<java.lang.String> trimmedTokens) |
private Token |
extractTokenStartingAt(java.lang.String infixTagExpression,
int startIndex,
java.lang.String trimmedToken) |
(package private) java.util.List<Token> |
tokenize(java.lang.String infixTagExpression) |
private java.util.List<java.lang.String> |
trimmedTokenStringsFrom(java.lang.String infixTagExpression) |
java.util.List<Token> tokenize(java.lang.String infixTagExpression)
private java.util.List<java.lang.String> trimmedTokenStringsFrom(java.lang.String infixTagExpression)
private java.util.List<Token> deriveTokensFrom(java.lang.String infixTagExpression, java.util.List<java.lang.String> trimmedTokens)
private Token extractTokenStartingAt(java.lang.String infixTagExpression, int startIndex, java.lang.String trimmedToken)