基于Reactor网络模型实现业务并测试性能:深入探究网络编程技术
0 2023-12-06

上一篇文章介绍了Reactor网络模型的核心思想,并且给出一个简单的实现方案,这篇文章我们在此基础上尝试实现一个http服务来说明如何在Reactor网络模型的基础上实现一个具体的应用,在最后我们使用一个工具来测试一下程序的性能。

在上一篇文章中,我们将网络IO的读写分别放在了两个回调函中,它们分别是recv_callback和send_callback,对于这两个方法我们希望保持其独立性,不涉及具体的业务,进而将具体的业务抽象出新的方法。

对于实现一个http服务来讲,一个http请求正常情况下可以分为request和response两部分,我们可以随便打开一个网页,比如:

我们可以看到,一个http请求,包含Request Header和Response Header,针对HTTP协议的这个特点,我们就可以抽象出http_request和http_response两个方法,它们分别用于处理HTTP的请求和响应。

那么,最终的流程是从recv_callback接收到数据包,然后调用http_request方法解析HTTP协议,处理相应的业务逻辑,处理完之后将响应结果通过http_response写入到wbuf中,然后触发EPOLLOUT事件,最终调用send_callback将wbuf中的数据发送出去,流程大致如下:

下面我们就来实现一下http_request和http_response,代码如下:
int http_request(connection_t *conn) { // TODO parse http headr and body } int http_response(connection_t *conn) { conn->wlen = sprintf(conn->wbuf,  "HTTP/1.1 200 OK\\r\\n" "Accept-Ranges: bytes\\r\\n" "Content-Length: 47\\r\\n" "Content-Type: text/html\\r\\n" "Date: Sta, 06 Aug 2023 13:16:46 GMT\\r\\n\\r\\n" "

Hello Server

"
);
return conn->wlen;}

这里省略了http_request中的代码,本文要关注的重点是如何在基于事件的网络模型中插入业务代码,你可能会觉得迷糊,HTTP服务不是也是基础服务吗?怎么能叫业务代码呢?这是相对而言的,对于TCP协议来说,HTTP实际上只是TCP的一个应用,当然算得上是业务代码了。

上面代码中定义了一个connection_t类型的参数,实际上这个参数的原型就是conn_channel,其定义如下:
typedef struct conn_channel connection_t;

到这里,不知道你有没有一种感觉,对于上层的业务代码来讲,它并不关心下层的网络IO,我们在http_request和http_reponse中并没有看到直接操作网络IO的地方,它们只管从对应的rbuf和wbuf中读和写,至于数据是怎么收进来的,又是怎么发送出去的并不关心。上一篇文章我们讲到网络IO的分离,通过这一篇文章相信你会有一个更直观的理解。

我将完整的代码直接贴在下面了
#include #include #include #include #include #include #include #include #include #include  #define BUFFER_LEN 1024 int epfd = 0; typedef int(*callback)(int); struct conn_channel { int fd;  char wbuf[BUFFER_LEN]; int wlen; char rbuf[BUFFER_LEN]; int rlen;  union { callback recv_call; callback accept_call; } call_t;  callback send_call;}; struct conn_channel conn_map[1024] = {0}; typedef struct conn_channel connection_t; int create_serv(int port) { int sockfd = socket(AF_INET, SOCK_STREAM, 0);  struct sockaddr_in servaddr; memset(&servaddr, 0, sizeof(struct sockaddr_in));  servaddr.sin_family = AF_INET; servaddr.sin_addr.s_addr = htonl(INADDR_ANY); servaddr.sin_port = htons(port);  int on = 1; setsockopt(sockfd, SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on));  int ret = bind(sockfd, (struct sockaddr*)&servaddr, sizeof(servaddr)); if (ret == -1) { perror("socket-bind-fail"); return -1; }   listen(sockfd, 1024);  return sockfd;} void make_nonblocking(int fd) { fcntl(fd, F_SETFL, O_NONBLOCK);} int http_request(connection_t *conn) { // TODO parse http headr and body } int http_response(connection_t *conn) { conn->wlen = sprintf(conn->wbuf,  "HTTP/1.1 200 OK\\r\\n" "Accept-Ranges: bytes\\r\\n" "Content-Length: 47\\r\\n" "Content-Type: text/html\\r\\n" "Date: Sta, 06 Aug 2023 13:16:46 GMT\\r\\n\\r\\n" "

Hello Server

");
return conn->wlen;} int recv_callback(int fd) { char *buffer = conn_map[fd].rbuf; int idx = conn_map[fd].rlen; int count = recv(fd, buffer+idx, BUFFER_LEN - idx, 0); if (count == 0) { printf("discounnect: %d\\n", fd); return -1; } conn_map[fd].rlen = count; // do http request and response http_request(&conn_map[fd]); http_response(&conn_map[fd]); struct epoll_event ev; ev.events = EPOLLOUT; ev.data.fd = fd; epoll_ctl(epfd, EPOLL_CTL_MOD, fd, &ev); return count;} int send_callback(int fd) { int count = send(fd, conn_map[fd].wbuf, conn_map[fd].wlen, 0); printf("send-count:%d\\n", count); struct epoll_event ev; ev.events = EPOLLIN; ev.data.fd = fd; epoll_ctl(epfd, EPOLL_CTL_MOD, fd, &ev); return count; } int accept_callback(int fd) { struct sockaddr_in clientaddr; socklen_t len = sizeof(clientaddr); int clientfd = accept(fd, (struct sockaddr*)&clientaddr, &len); struct epoll_event ev; ev.events = EPOLLIN; ev.data.fd = clientfd; conn_map[clientfd].wlen = 0; conn_map[clientfd].rlen = 0; conn_map[clientfd].call_t.recv_call = recv_callback; conn_map[clientfd].send_call = send_callback; memset(conn_map[clientfd].wbuf, 0, BUFFER_LEN); memset(conn_map[clientfd].rbuf, 0, BUFFER_LEN); epoll_ctl(epfd, EPOLL_CTL_ADD, clientfd, &ev); return clientfd;} int main() { int sockfd = create_serv(2048); if (sockfd == -1) { perror("sockfd-create-fail"); return -1; } make_nonblocking(sockfd); epfd = epoll_create1(0); printf("epfd:%d, sockfd: %d\\n", epfd, sockfd); conn_map[sockfd].wlen = 0; conn_map[sockfd].rlen = 0; conn_map[sockfd].call_t.recv_call = accept_callback; conn_map[sockfd].send_call = send_callback; memset(conn_map[sockfd].wbuf, 0, BUFFER_LEN); memset(conn_map[sockfd].rbuf, 0, BUFFER_LEN); struct epoll_event ev; ev.events = EPOLLIN; ev.data.fd = sockfd; epoll_ctl(epfd, EPOLL_CTL_ADD, sockfd, &ev); struct epoll_event events[1024] = {0}; while(1) { int nready = epoll_wait(epfd, events, 1024, -1); int i = 0; for (i = 0; i < nready; i++) { int connfd = events[i].data.fd; if (events[i].events & EPOLLIN) { int ret = conn_map[connfd].call_t.recv_call(connfd); printf("epollin-ret: %d\\n", ret); } else if (events[i].events & EPOLLOUT) { int count = conn_map[connfd].send_call(connfd); printf("send-count: %d\\n", count); } } }}

上面的代码200行不到,确包含了Reactor网络模型的核心思想,以及实现方式,如果有兴趣你可以基于此进一步扩展,你也可以参考我们前面网络编程系列文章,有更加完整的实现。

代码写完了,性能究竟如何我们需要进一步验证,这里推荐一个性能测试工具wrk,wrk是一款开源的性能测试工具,使用C实现,地址:https://github.com/wg/wrk,我准备了两台机器,配置如下:

ubuntu20.4      8C8G       192.168.56.2

ubuntu20.4-1   4C4G       192.168.56.3

我们的服务跑在8C8G这台机器上,另外一台4C4G的机器用于运行wrk工具进行性能测试。

为了有一个对比,我们首先在8C8G的机器上安装一个Nginx用来作对比,版本是1.25.4然后我们在4C4G的机器上将wrk编译好,下载好的wrk目录结构如下:
可以看到已经有写好的Makefile了,我们只需要make一下就可以了,make完之后会编译出一个wrk的二进制文件

接着,我们将8C8G这台机器上的Nginx和我们刚刚写的httpserver都启动起来,我们的nginx运行在80端口,httpserver运行在2048端口。

接着,我们在4C4G机器上运行wrk先测试nginx,如下:接着测试我们自己写的httpserver

我们使用wrk开启50个线程,100个并发持续10秒分别对Nginx和我们自己的httpserver进行了测试,最终的结果我们可以看到,在Nginx没有任何优化的情况下,我们写的httpserver明显比Nginx性能更好。当然,Nginx实际上写了很多的日志,我们的httpserver几乎没有写什么日志,你可以自己尝试将Nginx日志关了再对比一下看看结果。

总结

这篇文章我们通过实现了一个简单的HTTP服务来说明如何将Reactor网络模型应用到业务中去,这是在学校和网上10小时入门C语言里不会讲的,但它又非常重要。

在学习C/C++的过程中,相信很多人都会有这么一种感觉,那就是C/C++语法说起来都会,但就是很难写出一个完整的项目,个人觉得这是目前国内整个IT教育界的失败,大部分的课程花了非常大的篇幅讲if-else,甚至将各种变量类型都讲出花来了,但就是不告诉你一个完整的项目该如何写。


声明: 本文转载自其它媒体或授权刊载,目的在于信息传递,并不代表本站赞同其观点和对其真实性负责,如有新闻稿件和图片作品的内容、版权以及其它问题的,请联系我们及时删除。(联系我们,邮箱:evan.li@aspencore.com )
0
评论
  • 对话周祖成教授 - 清华大学与西门子EDA的合作之旅


  • 相关技术文库
  • 电源
  • DC
  • AC
  • 稳压
下载排行榜
更多
评测报告
更多
广告