在Linux高性能网络编程中，非阻塞I/O配合epoll是主流模式。然而，当写入数据量波动较大时，应用常常遇到一个棘手问题：send或write返回EAGAIN，表示发送缓冲区已满，必须等待内核释放空间。这个等待过程若处理不当，会出现频繁唤醒、CPU空转或响应延迟升高。TCP_NOTSENT_LOWAT是Linux内核提供的TCP层选项，可以用来精细控制epoll的EPOLLOUT触发时机，从而在不牺牲吞吐的前提下显著减少写缓冲区导致的阻塞。
一、TCP发送缓冲区如何影响写入
TCP连接建立后，应用通过write或send将数据交给内核。内核先把数据放入套接字的发送缓冲区，再由TCP协议栈根据拥塞窗口和接收窗口决定每次可以发出多少数据。如果应用写入速度持续高于网络能够发送的速度，发送缓冲区会逐渐被占满，此时继续调用write会返回EAGAIN错误，表示当前无法接收更多数据。对于阻塞套接字，调用会阻塞直到有空间；对于非阻塞套接字，则需要应用自行处理等待和重试。
在使用epoll管理非阻塞套接字时，通常监听EPOLLOUT事件以便在可写时继续发送。然而，Linux默认的可写判定条件比较宽松：只要发送缓冲区有一个字节的空闲空间，epoll就会报告EPOLLOUT。这意味着在高负载下，应用可能被频繁唤醒，每次只能写入很少的数据，导致系统调用开销增大，效率下降。另一方面，如果发送缓冲区总是被填满，写操作会经常遇到EAGAIN，应用层必须维护一个待发送队列，增加复杂度。要解决这个矛盾，关键是让EPOLLOUT在缓冲区有足够空间时才触发，而不是有零散空间就触发。
传统套接字选项SO_SNDLOWAT理论上可以设置写低水位，但对于TCP套接字，Linux不允许修改该值，默认固定为1字节。TCP_NOTSENT_LOWAT则是专门为TCP设计的低水位选项，它关注的不是整个发送缓冲区的空闲空间，而是尚未发送到网络中的数据量，这与实际发送拥塞状态更相关。
二、TCP_NOTSENT_LOWAT的作用机制
TCP_NOTSENT_LOWAT中的未发送数据量，是指已经写入发送缓冲区但尚未被TCP协议栈交给IP层发送的字节数。当这个未发送字节数小于或等于设定的阈值时，内核会认为套接字具备可写条件，epoll返回EPOLLOUT。也就是说，该选项可以控制写缓冲区的低水位线。与默认只要有极少空间就通知不同，设置该选项后，内核会等到未发送数据降到足够低的水平才通知应用，从而减少不必要的唤醒。
通过setsockopt可以设置该选项，选项级别为IPPROTO_TCP，选项名为TCP_NOTSENT_LOWAT，参数是一个整数，单位是字节。例如下面的代码将阈值设置为16KB：
int lowat = 16384;
int ret = setsockopt(sockfd, IPPROTO_TCP, TCP_NOTSENT_LOWAT, &lowat, sizeof(lowat));
if (ret < 0) {
perror("setsockopt TCP_NOTSENT_LOWAT");
// 处理错误
}
阈值的设置需要综合考虑。如果设置得太小，接近默认行为，优化效果不明显；如果设置得太大，数据可能在发送队列中滞留较长时间，增加发送延迟。一般建议将阈值设置为应用单次消息大小的整数倍，或者参考带宽延迟积，常用值为16KB、32KB或64KB。对于高吞吐大消息场景，可以适当提高阈值；对于低延迟小消息场景，则不宜设置过高。
需要注意的是，TCP_NOTSENT_LOWAT仅对TCP套接字有效，并且Linux内核版本需要在3.17以上。设置完成后，内核会动态跟踪未发送数据量，并结合接收窗口和拥塞窗口更新可写状态。这既保留了TCP流控机制，又让应用层可以更智能地感知可写时机。
三、结合epoll的非阻塞写实现
实际应用中，TCP_NOTSENT_LOWAT通常与epoll的非阻塞写模式配合使用。基本流程是：创建非阻塞socket并连接，设置TCP_NOTSENT_LOWAT阈值，将socket加入epoll监听EPOLLIN和EPOLLOUT事件。应用维护一个发送队列，有数据需要发送时先尝试直接write，如果返回EAGAIN则把剩余数据放入队列，并继续等待EPOLLOUT。当EPOLLOUT触发时，从队列取出数据批量写入，直到再次遇到EAGAIN。这样可以确保每次可写通知都有足够的空间容纳较完整的数据块，减少系统调用次数。
下面是一个简化的epoll写处理示例：
// 创建非阻塞socket
int sockfd = socket(AF_INET, SOCK_STREAM, 0);
int flags = fcntl(sockfd, F_GETFL, 0);
fcntl(sockfd, F_SETFL, flags | O_NONBLOCK);
// 设置TCP_NOTSENT_LOWAT
int lowat = 16384;
setsockopt(sockfd, IPPROTO_TCP, TCP_NOTSENT_LOWAT, &lowat, sizeof(lowat));
// 加入epoll
struct epoll_event ev;
ev.events = EPOLLIN | EPOLLOUT | EPOLLET;
ev.data.fd = sockfd;
epoll_ctl(epfd, EPOLL_CTL_ADD, sockfd, &ev);
// 事件循环中的写处理
while (1) {
int n = epoll_wait(epfd, events, MAX_EVENTS, -1);
for (int i = 0; i < n; i++) {
if (events[i].data.fd == sockfd && (events[i].events & EPOLLOUT)) {
// 从应用发送队列取出数据写入
while (!send_queue_empty()) {
struct buf *b = send_queue_head();
ssize_t written = write(sockfd, b->data + b->offset, b->len);
if (written > 0) {
b->offset += written;
b->len -= written;
if (b->len == 0) send_queue_pop();
} else if (written == -1 && (errno == EAGAIN || errno == EWOULDBLOCK)) {
break; // 缓冲区无足够空间，等待下次EPOLLOUT
} else {
// 处理连接错误
break;
}
}
}
}
}
在水平触发模式下，只要条件满足EPOLLOUT就会持续触发；在边缘触发模式下，必须一次性尽可能多地写入，直到返回EAGAIN。使用TCP_NOTSENT_LOWAT后，ET模式下的写入会更有节奏，不会频繁进入可写状态，能降低CPU占用。
四、实际调优与注意事项
合理设置TCP_NOTSENT_LOWAT可以显著改善写阻塞问题，但也需要权衡延迟和吞吐。设置较大阈值时，内核会等待未发送数据降到较低水平才通知，这减少了系统调用和上下文切换，但可能让部分数据在发送队列中多停留几毫秒。对于延迟敏感业务，建议将阈值控制在单次请求消息大小附近，例如16KB；对于大文件传输或备份类业务，可以提高到64KB甚至更大。同时，发送缓冲区大小SO_SNDBUF也需要适当扩大，否则TCP_NOTSENT_LOWAT设置的阈值可能受限于缓冲区上限而无法发挥预期作用。
另外，TCP_NOTSENT_LOWAT属于Linux特有的TCP选项，移植到其他操作系统时需要替代方案。在内核版本足够新的系统中，该选项稳定可用。测试时可以结合ss命令查看未发送数据量变化，或使用perf工具统计系统调用次数和CPU占用，从而验证优化效果。注意不要在已连接并开始传输后频繁修改该选项，最好在建立连接后、开始发送前完成设置。
总结来看，TCP_NOTSENT_LOWAT为TCP写路径提供了细粒度的可写控制。通过理解未发送数据量与EPOLLOUT触发之间的关系，开发者可以构建更高效的非阻塞发送模型，减少写缓冲区阻塞导致的性能抖动，让网络服务在面对突发流量时更加平稳。
TCP_NOTSENT_LOWATepoll写缓冲区阻塞修改时间：2026-08-28 23:04:02