在apache,nginx,lighttpd等web服务器当中,都有一项sendfile相关的配置,在一些网上的资料都有谈到sendfile会提升文件传输性能,那sendfile到底是什么呢?它的原理又是如何呢?
在传统的文件传输里面(read/write方式),在实现上其实是比较复杂的,需要经过多次上下文的切换,我们看一下如下两行代码:
read(file, tmp_buf, len);
write(socket, tmp_buf, len);
以上两行代码是传统的read/write方式进行文件到socket的传输。
当需要对一个文件进行传输的时候,其具体流程细节如下:
1、调用read函数,文件数据被copy到内核缓冲区
2、read函数返回,文件数据从内核缓冲区copy到用户缓冲区
3、write函数调用,将文件数据从用户缓冲区copy到内核与socket相关的缓冲区。
4、数据从socket缓冲区copy到相关协议引擎。
以上细节是传统read/write方式进行网络文件传输的方式,我们可以看到,在这个过程当中,文件数据实际上是经过了四次copy操作:
硬盘—>内核buf—>用户buf—>socket相关缓冲区—>协议引擎
而sendfile系统调用则提供了一种减少以上多次copy,提升文件传输性能的方法。Sendfile系统调用是在2.1版本内核时引进的:
sendfile(socket, file, len);
运行流程如下:
1、sendfile系统调用,文件数据被copy至内核缓冲区
2、再从内核缓冲区copy至内核中socket相关的缓冲区
3、最后再socket相关的缓冲区copy到协议引擎
相较传统read/write方式,2.1版本内核引进的sendfile已经减少了内核缓冲区到user缓冲区,再由user缓冲区到socket相关缓冲区的文件copy,而在内核版本2.4之后,文件描述符结果被改变,sendfile实现了更简单的方式,系统调用方式仍然一样,细节与2.1版本的不同之处在于,当文件数据被复制到内核缓冲区时,不再将所有数据copy到socket相关的缓冲区,而是仅仅将记录数据位置和长度相关的数据保存到socket相关的缓存,而实际数据将由DMA模块直接发送到协议引擎,再次减少了一次copy操作。
以上描述虽然简单,但实际情况会更加复杂,本文只希望以简单的方式大致上讲解sendfile的原理,并不奢望通过本文能够阐述出所有的细节,我也没这水平,希望此文对各位朋友有所帮助。
参考自:http://www.linuxjournal.com/article/6345
分享到:
相关推荐
linux专门为文件传输开放的API sendfile 比你自己写的文件传输程序速度快得多
简单的TCP传输程序,对初级入门的学习者应该是很好的范例教材来的
利用QTcpServer 和QtSocket实现的简单文件传输,RecivFile实现监听与接受, SendFile实现发送文件。
python 实现文件传输 课程设计 file_transfer 包括 计算机网络课程设计 Receive File Send File Tests Test Send File 接收文件 发送文件 测试 测试发送文件
实现大文件多文件传输,带进度条,上传时间 大小的记录
socket文件传输收发文件,局域网tcp传输文件和视频
sendfile 示例代码,理解sendfile的好参考
Server端和Client端都可以通过Send,Write等方法与对方通信。 对于一个功能齐全的Socket,都要包含以下基本结构,其工作过程包含以下四个基本的步骤: (1) 创建Socket; (2) 打开连接到Socket的输入/出...
windows下文件基于组播的文件传输程序,已经测试传输成功.
很多时候用户需要从网站下载文件,如果文件是可以通过一个固定链接公开获取的,那么我们只需将文件存放到 webroot下的目录里就好。但大多数情况下,我们需要做权限控制,例如下载 PDF 账单,又例如下载网盘里的档案...
C#文件传输关键代码string path = "E:\\c#\\convey_file\\convey_file\\Form1.cs"; //要传输的文件 TcpClient client = new TcpClient(); client.Connect(IPAddress.Parse("192.168.0.52"),9999); FileStream ...
QT5_sendfile.rar
文件传输,基于tcp/ip,局域网内文件传输示范,windows下网络编程
用VB写的一个串口文件传送系统,实现了串口之间文件传送的例子。很有参考价值。
主要介绍了asp.net使用Socket.Send发送信息及Socket.SendFile传输文件的方法,结合实例形式分析了asp.net基于socket实现信息与文件传输的相关技巧,需要的朋友可以参考下
sendfile.exe为收发文件 1.开启一个实例点接收 2.开启另一个实例点发送,指定IP,port默认即可,指定文件就开始传输。 接收的文件在c:\udxtemp.temp 传另一个文件需要关掉以前的实例从1重新开始 ---------------...
主要介绍了Linux网络编程之基于UDP实现可靠的文件传输示例,是很实用的技巧,需要的朋友可以参考下
主要介绍了在PHP中让文件下载更快的一个方法,那就是使用X-SendFile头实现,主流量的服务器都支持这个头文件,的朋友可以参考下
简单明了地告诉你,如何用java写FTP客户端程序