在C++开发中，字符串通常以char或wchar_t形式存在于内存，而网络传输、文件存储往往要求特定编码的字节序列。理解字符集与编码的区别，是正确完成转换的前提。char类型在不同编译器下可能对应UTF-8或本地窄字符集，wchar_t在Windows下是UTF-16，在Linux下多为UTF-32，因此不能假设内存布局就是目标编码。
为什么不能直接强转
不少初学者会写出类似下面的代码，试图把wstring直接变成字节流：
#include <string>
#include <iostream>
int main() {
std::wstring ws = L"中文";
// 错误示范：直接取首地址当字节
const char* p = reinterpret_cast<const char*>(ws.data());
std::cout << p << std::endl;
return 0;
}
这段程序在Windows上会把UTF-16的宽字符每两个字节拆成char，遇到ASCII范围外的字符就产生错误截断和乱码。reinterpret_cast只改变指针类型，并不做编码映射，它绕过了字符语义，结果完全依赖平台字节序和宽字符宽度。
正确的做法是通过编码转换设施，将逻辑字符逐一映射到目标编码的码元序列。C++标准库在C++11至C++17之间提供了std::wstring_convert与std::codecvt，虽在C++17被弃用，但在多数项目中仍可用，且跨平台行为明确。
使用std::wstring_convert转换到UTF-8
std::wstring_convert配合std::codecvt_utf8可以实现宽字符串与UTF-8字节流的互转。下面的例子把wstring转成utf8字节流，并以unsigned char向量返回，方便后续写入socket或文件。
#include <string>
#include <locale>
#include <codecvt>
#include <vector>
#include <iostream>
// 将宽字符串转为UTF-8字节流
std::vector<unsigned char> to_utf8_bytes(const std::wstring& ws) {
std::wstring_convert<std::codecvt_utf8<wchar_t>> conv;
std::string utf8 = conv.to_bytes(ws);
return std::vector<unsigned char>(utf8.begin(), utf8.end());
}
int main() {
std::wstring text = L"编码转换实战";
auto bytes = to_utf8_bytes(text);
for (unsigned char c : bytes) {
std::cout << std::hex << (int)c << " ";
}
std::cout << std::endl;
return 0;
}
该方案优点是纯标准库、不依赖系统API，在Linux和Windows上都能得到一致的UTF-8输出。需要注意的是，std::codecvt_utf8的模板参数需匹配宽字符类型，若平台wchar_t为UTF-32则应选用codecvt_utf8而不是codecvt_utf8_utf16。
从字节流还原宽字符串时，调用conv.from_bytes即可。但务必捕获std::range_error，因为非法UTF-8序列会抛异常。生产代码中建议用try-catch包裹，避免转换失败导致程序终止。
转换为本地编码如GBK
标准库未内置GBK等本地编码切面，Windows下可使用WideCharToMultiByte，Linux下可借助iconv。下面展示Windows API将宽字符转为GBK字节流：
#include <windows.h>
#include <string>
#include <vector>
std::vector<unsigned char> to_gbk_bytes(const std::wstring& ws) {
int need = WideCharToMultiByte(936, 0, ws.c_str(), -1, nullptr, 0, nullptr, nullptr);
std::vector<char> buf(need);
WideCharToMultiByte(936, 0, ws.c_str(), -1, buf.data(), need, nullptr, nullptr);
// 去掉结尾null
return std::vector<unsigned char>(buf.begin(), buf.begin() + need - 1);
}
代码页936即GBK，函数第一次调用获取缓冲区大小，第二次完成填充。返回的字节流不含结尾零，适合网络发送。若目标环境是Linux，应改用iconv_open("GBK", "WCHAR_T")并执行iconv转换，逻辑类似但接口更底层。
使用系统API的优势是支持所有系统已安装编码，无需自带码表；缺点是代码不可跨平台，需要条件编译封装。推荐将转换函数放在独立模块，通过宏隔离平台相关实现。
封装统一接口的建议
为降低调用方复杂度，可定义枚举表示目标编码，并用工厂函数返回转换结果。这样业务层只关心字节流，不关心底层用的是标准库还是API。
#include <string>
#include <vector>
enum class Encoding { UTF8, GBK };
std::vector<unsigned char> encode(const std::wstring& ws, Encoding e) {
if (e == Encoding::UTF8) {
std::wstring_convert<std::codecvt_utf8<wchar_t>> conv;
std::string s = conv.to_bytes(ws);
return {s.begin(), s.end()};
} else {
// 此处调用前面Windows或iconv实现
return {};
}
}
这样的封装让字符串到字节流的细节被隐藏，也方便后续替换底层实现，比如迁移到C++20的std::u8string或第三方库ICU。编码转换本质上是字符集映射，抓住这个核心，无论用哪种工具都能写出稳定代码。
最后提醒，字节流传输时要同时约定编码标识，例如在协议头声明content-encoding，否则接收方仍可能误判。明确编码边界，才能彻底解决乱码问题。