使用ANTLR解析Java代码时，核心步骤是选择匹配解析目标的语法入口规则，以及正确提取解析过程中生成的令牌，这两个环节直接决定了后续代码处理逻辑的准确性和效率。
ANTLR解析Java的基础准备
首先需要获取官方的Java语法文件，ANTLR官方提供了适配多个Java版本的语法定义，我们可以根据需求选择对应的JavaLexer.g4和JavaParser.g4文件。完成语法文件准备后，使用ANTLR工具生成对应的词法器和解析器代码，之后就可以在项目中引入这些生成类开展解析工作。
语法入口规则的选择方法
Java的语法定义中包含多个不同的规则，我们需要根据自身的解析目标选择对应的入口规则，常见的入口规则及适用场景如下：
| 入口规则名称 | 适用场景 |
|---|---|
| compilationUnit | 解析完整的Java源文件，包括包声明、导入语句、类型定义等全部内容 |
| statement | 仅解析单条Java语句，比如方法内部的执行语句、条件分支内的语句 |
| expression | 仅解析Java表达式，比如赋值表达式、方法调用表达式、算术表达式 |
| typeDeclaration | 仅解析类型定义，包括类、接口、枚举、注解等类型的定义内容 |
如果我们需要解析一个完整的Java类文件，就应该选择compilationUnit作为入口规则，如果选成了statement，就会因为无法匹配文件开头的包声明和导入语句导致解析失败。
入口规则选择示例
以下是选择compilationUnit作为入口规则解析Java文件的代码示例：
import org.antlr.v4.runtime.CharStream;
import org.antlr.v4.runtime.CharStreams;
import org.antlr.v4.runtime.CommonTokenStream;
import org.antlr.v4.runtime.tree.ParseTree;
public class JavaParseDemo {
public static void main(String[] args) throws Exception {
// 读取Java源文件内容
CharStream input = CharStreams.fromFileName("Test.java");
// 初始化词法器
JavaLexer lexer = new JavaLexer(input);
// 获取令牌流
CommonTokenStream tokens = new CommonTokenStream(lexer);
// 初始化解析器
JavaParser parser = new JavaParser(tokens);
// 选择compilationUnit作为入口规则，获取解析树
ParseTree tree = parser.compilationUnit();
System.out.println("解析树结构：" + tree.toStringTree(parser));
}
}
令牌提取的方法与注意事项
令牌是词法器解析源码生成的最小语法单元，比如关键字、标识符、运算符、字面量等都属于令牌。提取令牌的核心是通过CommonTokenStream获取令牌集合，之后可以根据需要调整令牌的过滤规则。
基础令牌提取
以下代码展示了如何提取解析过程中的全部令牌：
import org.antlr.v4.runtime.CharStream;
import org.antlr.v4.runtime.CharStreams;
import org.antlr.v4.runtime.CommonTokenStream;
import org.antlr.v4.runtime.Token;
import java.util.List;
public class TokenExtractDemo {
public static void main(String[] args) throws Exception {
CharStream input = CharStreams.fromFileName("Test.java");
JavaLexer lexer = new JavaLexer(input);
CommonTokenStream tokens = new CommonTokenStream(lexer);
// 填充令牌流，触发词法分析
tokens.fill();
// 获取所有令牌
List<Token> tokenList = tokens.getTokens();
for (Token token : tokenList) {
// 输出令牌类型和文本内容
System.out.println("令牌类型：" + lexer.getVocabulary().getSymbolicName(token.getType()) + "，内容：" + token.getText());
}
}
}
过滤指定类型的令牌
如果我们只需要提取Java代码中的标识符令牌，可以通过令牌类型进行过滤，Java语法中标识符的令牌类型对应JavaLexer.IDENTIFIER：
import org.antlr.v4.runtime.CharStream;
import org.antlr.v4.runtime.CharStreams;
import org.antlr.v4.runtime.CommonTokenStream;
import org.antlr.v4.runtime.Token;
import java.util.List;
public class FilterTokenDemo {
public static void main(String[] args) throws Exception {
CharStream input = CharStreams.fromFileName("Test.java");
JavaLexer lexer = new JavaLexer(input);
CommonTokenStream tokens = new CommonTokenStream(lexer);
tokens.fill();
List<Token> tokenList = tokens.getTokens();
for (Token token : tokenList) {
// 过滤出标识符类型的令牌
if (token.getType() == JavaLexer.IDENTIFIER) {
System.out.println("标识符令牌：" + token.getText());
}
}
}
}
常见错误与解决思路
- 入口规则不匹配：如果解析完整文件时选了小粒度规则，会出现解析报错，需要重新核对解析目标和规则对应关系。
- 令牌流未填充：调用
CommonTokenStream的fill方法或者LA方法触发词法分析，否则可能获取不到令牌。 - 令牌类型判断错误：可以通过词法器实例的
getVocabulary方法获取令牌类型名称，避免直接使用数字类型判断导致错误。
选择入口规则时优先明确自己的解析范围，令牌提取时根据需求做好过滤，能避免大部分ANTLR解析Java时的常见问题。