Nginx的代理模块和套接字描述符通过

Question

我正在实现一个服务器传递套接字描述符到工作进程进行处理。它使用sendmsg系统调用通过UNIX套接字发送它们。服务器本身可以监听UNIX套接字或INET套接字。我有一个问题把它放在nginx后面。当我的服务器在INET套接字上运行时，一切正常。但是proxing不能通过UNIX套接字工作。 nginx的报道：

readv() failed (104: Connection reset by peer) while reading upstream 

一个简单的Python脚本接收数据没有问题：

import sys 
import socket 
sock = socket.socket(socket.AF_UNIX) 
sock.connect(sys.argv[1]) 
while 1: 
    data = sock.recv(1024) 
    if not data: break 
    print data 

这里是一个小例子。请注意，取消注释两条注释行可解决问题。

#include <time.h> 
#include <sys/socket.h> 
#include <sys/un.h> 

const char response[] = 
    "HTTP/1.0 200 OK\r\n" 
    "Content-Type: text/plain\r\n" 
    "Content-Length: 4\r\n" 
    "\r\n" 
    "test"; 

int main(int argc, char** argv) 
{ 
    struct msghdr msg; 
    msg.msg_name = 0; 
    msg.msg_namelen = 0; 
    struct iovec iov; 
    char c; 
    iov.iov_base = &c; 
    iov.iov_len = 1; 
    msg.msg_iov = &iov; 
    msg.msg_iovlen = 1; 
    char control[CMSG_SPACE(sizeof(int))]; 
    msg.msg_control = control; 
    msg.msg_controllen = sizeof(control); 
    struct cmsghdr* cmsg_ptr = CMSG_FIRSTHDR(&msg); 
    int pair[2]; 
    socketpair(AF_UNIX, SOCK_STREAM, 0, pair); 
    if (fork()) { 
     close(pair[1]); 
     cmsg_ptr->cmsg_level = SOL_SOCKET; 
     cmsg_ptr->cmsg_type = SCM_RIGHTS; 
     cmsg_ptr->cmsg_len = CMSG_LEN(sizeof(int)); 
     int listen_fd = socket(AF_UNIX, SOCK_STREAM, 0); 
     unlink(argv[1]); 
     struct sockaddr_un address; 
     address.sun_family = AF_UNIX; 
     strncpy(address.sun_path, argv[1], sizeof(address.sun_path) - 1); 
     bind(listen_fd, (struct sockaddr*)(&address), SUN_LEN(&address)); 
     chmod(argv[1], 0666); 
     listen(listen_fd, SOMAXCONN); 
     for (;;) { 
      int conn_fd = accept(listen_fd, 0, 0); 
      *(int*)(CMSG_DATA(cmsg_ptr)) = conn_fd; 
      sendmsg(pair[0], &msg, 0); 
/*    sleep(1); */ 
      close(conn_fd); 
     } 
    } else { 
     close(pair[0]); 
     for (;;) { 
      recvmsg(pair[1], &msg, 0); 
      int conn_fd = *(int*)(CMSG_DATA(cmsg_ptr)); 
      write(conn_fd, response, sizeof(response)); 
/*    shutdown(conn_fd, SHUT_WR); */ 
      close(conn_fd); 
     } 
    } 
    return 0; 
} 

我在Linux上使用nginx/0.7.62。我应该深入研究nginx还是误解描述符传递？

Answer 1

sleep()没有必要 - shutdown()是正确的，但。解决方法是，你的子进程不应该关闭conn_fd直到它已看到结束的文件从nginx的：

write(conn_fd, response, ...); 

/* Tell client no more data is forthcoming */ 
shutdown(conn_fd, SHUT_WR); 

/* Read until client also closes */ 
while (read(conn_fd, buffer, sizeof buffer) > 0) 
{ 
    /* ... */ 
} 

/* Now we can close */ 
close(conn_fd); 

的“连接被对方​​复位”是OS通知nginx的你的应用程序之前关闭套接字看到所有发送的nginx - 这里的“所有”包括流的逻辑结束，而不仅仅是数据字节。