Go语言的标准库text/scanner包提供了基础的词法扫描能力，能够对输入文本进行逐个字符的解析，生成对应的token序列。在实际使用中，位移操作和空白字符的识别规则是开发者容易混淆的点，需要结合包的内部实现逻辑来明确正确性标准。
text/scanner包基础扫描规则
text/scanner包的核心是通过Scanner结构体来维护扫描状态，默认的扫描模式会忽略空格、制表符、换行符等空白字符，同时支持识别常见的运算符、标识符、数字字面量等。我们可以通过简单的示例来观察基础的扫描行为：
package main
import (
"fmt"
"text/scanner"
)
func main() {
var s scanner.Scanner
s.Init("a + b")
for {
tok := s.Scan()
if tok == scanner.EOF {
break
}
fmt.Printf("token: %s, text: %sn", scanner.TokenString(tok), s.TokenText())
}
}
上述代码会依次输出标识符a、加号运算符、标识符b，中间的空格会被自动忽略，这是默认的扫描规则。
位移操作的识别逻辑
Go语言中的位移操作包含左移<<和右移>>，这两种操作符由两个连续的小于号或大于号组成。text/scanner包在扫描时会将连续的<或>识别为对应的位移运算符，而不是两个单独的比较运算符。我们可以通过以下代码验证：
package main
import (
"fmt"
"text/scanner"
)
func main() {
var s scanner.Scanner
// 测试左移和右移操作
s.Init("a << 2 >> 1")
for {
tok := s.Scan()
if tok == scanner.EOF {
break
}
fmt.Printf("token: %s, text: %sn", scanner.TokenString(tok), s.TokenText())
}
}
运行上述代码后，输出的token序列为标识符a、左移运算符<<、数字2、右移运算符>>、数字1，中间的空白字符被正常忽略，说明位移操作能够被正确识别为单个token。
空白字符的识别与处理
text/scanner包默认的空白字符包含空格（' '）、水平制表符（'t'）、回车符（'r'）、换行符（'n'）、垂直制表符（'v'）、换页符（'f'）。如果需要自定义空白字符的范围，可以通过修改Scanner的Whitespace字段来调整。示例代码如下：
package main
import (
"fmt"
"text/scanner"
)
func main() {
var s scanner.Scanner
// 自定义空白字符，只将空格和换行符视为空白
s.Whitespace = 1<<' ' | 1<<'n'
s.Init("atb c")
for {
tok := s.Scan()
if tok == scanner.EOF {
break
}
fmt.Printf("token: %s, text: %sn", scanner.TokenString(tok), s.TokenText())
}
}
上述代码中，我们将水平制表符从空白字符列表中移除，因此制表符会被识别为普通字符，最终输出会包含制表符作为token的一部分。如果需要保留所有空白字符不跳过，可以将Whitespace字段设置为0。
常见误区与验证
很多开发者会误以为text/scanner会将<<=或>>=拆分为位移运算符和赋值号，实际上包会将这两个组合识别为位移赋值运算符，属于单独的一类token。我们可以通过以下代码验证：
package main
import (
"fmt"
"text/scanner"
)
func main() {
var s scanner.Scanner
s.Init("a <<= 2")
for {
tok := s.Scan()
if tok == scanner.EOF {
break
}
fmt.Printf("token: %s, text: %sn", scanner.TokenString(tok), s.TokenText())
}
}
运行后可以看到<<=被识别为一个完整的token，而不是<<和=两个独立的token。在使用text/scanner包处理包含位移操作的代码文本时，不需要额外做拼接处理，包本身已经实现了正确的识别逻辑。
总结
text/scanner包对位移操作的识别符合Go语言的词法规则，会将连续的两个小于号或大于号识别为对应的位移运算符，组合赋值形式也能正确解析。空白字符的识别可以通过Whitespace字段自定义，默认情况下会跳过标准的空白字符。在实际使用时，只要明确这两个规则，就能保证扫描结果的正确性，避免不必要的解析错误。
text/scanner位移操作空白字符识别Go语言修改时间：2026-06-10 01:36:28