NIO学习记录

1.Java NIO 概述

Java NIO(New IO 或 Non Blocking IO)是从 Java 1.4 版本开始引入的一个新的
IO API,可以替代标准的 Java IO API。NIO 支持面向缓冲区的、基于通道的 IO 操
作。NIO 将以更加高效的方式进行文件的读写操作。

1.1 阻塞 IO

通常在进行同步 I/O 操作时,如果读取数据,代码会阻塞直至有可供读取的数据。同
样,写入调用将会阻塞直至数据能够写入。传统的 Server/Client 模式会基于 TPR
(Thread per Request),服务器会为每个客户端请求建立一个线程,由该线程单独负
责处理一个客户请求。这种模式带来的一个问题就是线程数量的剧增,大量的线程会
增大服务器的开销。大多数的实现为了避免这个问题,都采用了线程池模型,并设置
线程池线程的最大数量,这由带来了新的问题,如果线程池中有 100 个线程,而有
100 个用户都在进行大文件下载,会导致第 101 个用户的请求无法及时处理,即便第
101 个用户只想请求一个几 KB 大小的页面。传统的 Server/Client 模式如下图所示:
传统的Server/Client模式

1.2 非阻塞 IO(NIO)

NIO 中非阻塞 I/O 采用了基于 Reactor 模式的工作方式,I/O 调用不会被阻塞,相反
是注册感兴趣的特定 I/O 事件,如可读数据到达,新的套接字连接等等,在发生特定
事件时,系统再通知我们。NIO 中实现非阻塞 I/O 的核心对象就是 Selector,
Selector 就是注册各种 I/O 事件地方,而且当我们感兴趣的事件发生时,就是这个对
象告诉我们所发生的事件,如下图所示:
Selector注册

从图中可以看出,当有读或写等任何注册的事件发生时,可以从 Selector 中获得相应
的 SelectionKey,同时从 SelectionKey 中可以找到发生的事件和该事件所发生的具
体的 SelectableChannel,以获得客户端发送过来的数据。

非阻塞指的是 IO 事件本身不阻塞,但是获取 IO 事件的 select()方法是需要阻塞等待的.
区别是阻塞的 IO 会阻塞在 IO 操作上, NIO 阻塞在事件获取上,没有事件就没有 IO, 从
高层次看 IO 就不阻塞了.也就是说只有 IO 已经发生那么我们才评估 IO 是否阻塞,但是
select()阻塞的时候 IO 还没有发生,何谈 IO 的阻塞呢?NIO 的本质是延迟 IO 操作到真
正发生 IO 的时候,而不是以前的只要 IO 流打开了就一直等待 IO 操作。
IO和NIO的区别

1.3 NIO 概述

Java NIO 由以下几个核心部分组成:

  • Channels
  • Buffers
  • Selectors
    虽然 Java NIO 中除此之外还有很多类和组件,但 Channel,Buffer 和 Selector 构成
    了核心的 API。其它组件,如 Pipe 和 FileLock,只不过是与三个核心组件共同使用的
    工具类。

1.3.1 Channel

首先说一下 Channel,可以翻译成“通道”。Channel 和 IO 中的 Stream(流)是差不
多一个等级的。只不过 Stream 是单向的,譬如:InputStream, OutputStream.而
Channel 是双向的,既可以用来进行读操作,又可以用来进行写操作。

NIO 中的 Channel 的主要实现有:FileChannel、DatagramChannel、
SocketChannel 和 ServerSocketChannel,这里看名字就可以猜出个所以然来:分别
可以对应文件 IO、UDP 和 TCP(Server 和 Client)。

1.3.2 Buffer

NIO 中的关键 Buffer 实现有:ByteBuffer, CharBuffer, DoubleBuffer, FloatBuffer,
IntBuffer, LongBuffer, ShortBuffer,分别对应基本数据类型: byte, char, double,
float, int, long, short。

1.3.3 Selector

Selector 运行单线程处理多个 Channel,如果你的应用打开了多个通道,但每个连接
的流量都很低,使用 Selector 就会很方便。例如在一个聊天服务器中。要使用
Selector, 得向 Selector 注册 Channel,然后调用它的 select()方法。这个方法会一直
阻塞到某个注册的通道有事件就绪。一旦这个方法返回,线程就可以处理这些事件,
事件的例子有如新的连接进来、数据接收等。

2.Java NIO(Channel)

2.1 Channel 概述

Channel 是一个通道,可以通过它读取和写入数据,它就像水管一样,网络数据通过
Channel 读取和写入。通道与流的不同之处在于通道是双向的,流只是在一个方向上
移动(一个流必须是 InputStream 或者 OutputStream 的子类),而且通道可以用于
读、写或者同时用于读写。因为 Channel 是全双工的,所以它可以比流更好地映射底
层操作系统的 API。

NIO 中通过 channel 封装了对数据源的操作,通过 channel 我们可以操作数据源,但
又不必关心数据源的具体物理结构。这个数据源可能是多种的。比如,可以是文件,
也可以是网络 socket。在大多数应用中,channel 与文件描述符或者 socket 是一一
对应的。Channel 用于在字节缓冲区和位于通道另一侧的实体(通常是一个文件或套
接字)之间有效地传输数据。

  • channel 接口源码
    channel接口源码

与缓冲区不同,通道 API 主要由接口指定。不同的操作系统上通道实现(Channel
Implementation)会有根本性的差异,所以通道 API 仅仅描述了可以做什么。因此很
自然地,通道实现经常使用操作系统的本地代码。通道接口允许您以一种受控且可移
植的方式来访问底层的 I/O 服务。

Channel 是一个对象,可以通过它读取和写入数据。拿 NIO 与原来的 I/O 做个比
较,通道就像是流。所有数据都通过 Buffer 对象来处理。您永远不会将字节直接写入
通道中,相反,您是将数据写入包含一个或者多个字节的缓冲区。同样,您不会直接
从通道中读取字节,而是将数据从通道读入缓冲区,再从缓冲区获取这个字节。

Java NIO 的通道类似流,但又有些不同:

  • 既可以从通道中读取数据,又可以写数据到通道。但流的读写通常是单向的。
  • 通道可以异步地读写。
  • 通道中的数据总是要先读到一个 Buffer,或者总是要从一个 Buffer 中写入。
    正如上面所说,从通道读取数据到缓冲区,从缓冲区写入数据到通道。如下图所示:
    图示

2.2 Channel 实现

下面是 Java NIO 中最重要的 Channel 的实现:

  • FileChannel
  • DatagramChannel
  • SocketChannel
  • ServerSocketChannel
    (1)FileChannel 从文件中读写数据。
    (2)DatagramChannel 能通过 UDP 读写网络中的数据。
    (3)SocketChannel 能通过 TCP 读写网络中的数据。
    (4)ServerSocketChannel 可以监听新进来的 TCP 连接,像 Web 服务器那样。对
    每一个新进来的连接都会创建一个 SocketChannel。
    正如你所看到的,这些通道涵盖了 UDP 和 TCP 网络 IO,以及文件 IO

2.3 FileChannel 介绍和示例

FileChannel 类可以实现常用的 read,write 以及 scatter/gather 操作,同时它也提
供了很多专用于文件的新方法。这些方法中的许多都是我们所熟悉的文件操作。
FileChannel类常用方法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
public class FileChannelDemo {
public static void main(String[] args) throws IOException {
RandomAccessFile aFile = new
RandomAccessFile("d:\\atguigu\\01.txt", "rw");
FileChannel inChannel = aFile.getChannel();
ByteBuffer buf = ByteBuffer.allocate(48);
int bytesRead = inChannel.read(buf);
while (bytesRead != -1) {
System.out.println("读取: " + bytesRead);
buf.flip();
while (buf.hasRemaining()) {
System.out.print((char) buf.get());
}
buf.clear();
bytesRead = inChannel.read(buf);
}
aFile.close();
System.out.println("操作结束");
}
}

Buffer 通常的操作
将数据写入缓冲区
调用 buffer.flip() 反转读写模式
从缓冲区读取数据
调用 buffer.clear() 或 buffer.compact() 清除缓冲区内容

2.4 FileChannel 操作详解

2.4.1 打开 FileChannel

在使用 FileChannel 之前,必须先打开它。但是,我们无法直接打开一个
FileChannel,需要通过使用一个 InputStream、OutputStream 或
RandomAccessFile 来获取一个 FileChannel 实例。下面是通过 RandomAccessFile
打开 FileChannel 的示例:

1
2
RandomAccessFile aFile = new RandomAccessFile("d:\\atguigu\\01.txt","rw");
FileChannel inChannel = aFile.getChannel();

2.4.2 从 FileChannel 读取数据

调用多个 read()方法之一从 FileChannel 中读取数据。如:

1
2
ByteBuffer buf = ByteBuffer.allocate(48);
int bytesRead = inChannel.read(buf);

首先,分配一个 Buffer。从 FileChannel 中读取的数据将被读到 Buffer 中。然后,调
用 FileChannel.read()方法。该方法将数据从 FileChannel 读取到 Buffer 中。read()
方法返回的 int 值表示了有多少字节被读到了 Buffer 中。如果返回-1,表示到了文件
末尾。

2.4.3 向 FileChannel 写数据

使用 FileChannel.write()方法向 FileChannel 写数据,该方法的参数是一个 Buffer。
如:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
public class FileChannelDemo {
public static void main(String[] args) throws IOException {
RandomAccessFile aFile = new
RandomAccessFile("d:\\atguigu\\01.txt", "rw");
FileChannel inChannel = aFile.getChannel();
String newData = "New String to write to file..." +
System.currentTimeMillis();
ByteBuffer buf1 = ByteBuffer.allocate(48);
buf1.clear();
buf1.put(newData.getBytes());
buf1.flip();
while(buf1.hasRemaining()) {
inChannel.write(buf1);
}
inChannel.close();
}
}

注意 FileChannel.write()是在 while 循环中调用的。因为无法保证 write()方法一次能
向 FileChannel 写入多少字节,因此需要重复调用 write()方法,直到 Buffer 中已经没
有尚未写入通道的字节。

2.4.4 关闭 FileChannel

用完 FileChannel 后必须将其关闭。如:

1
inChannel.close();

2.4.5 FileChannel 的 position 方法

有时可能需要在 FileChannel 的某个特定位置进行数据的读/写操作。可以通过调用
position()方法获取 FileChannel 的当前位置。也可以通过调用 position(long pos)方
法设置 FileChannel 的当前位置。
这里有两个例子:

1
2
long pos = channel.position();
channel.position(pos +123);

如果将位置设置在文件结束符之后,然后试图从文件通道中读取数据,读方法将返回1 (文件结束标志)。
如果将位置设置在文件结束符之后,然后向通道中写数据,文件将撑大到当前位置并
写入数据。这可能导致“文件空洞”,磁盘上物理文件中写入的数据间有空隙。

2.4.6 FileChannel 的 size 方法

FileChannel 实例的 size()方法将返回该实例所关联文件的大小。如:

1
long fileSize = channel.size();

2.4.7 FileChannel 的 truncate 方法

可以使用 FileChannel.truncate()方法截取一个文件。截取文件时,文件将中指定长度
后面的部分将被删除。如:

1
channel.truncate(1024);

这个例子截取文件的前 1024 个字节。

2.4.8 FileChannel 的 force 方法

FileChannel.force()方法将通道里尚未写入磁盘的数据强制写到磁盘上。出于性能方
面的考虑,操作系统会将数据缓存在内存中,所以无法保证写入到 FileChannel 里的
数据一定会即时写到磁盘上。要保证这一点,需要调用 force()方法。
force()方法有一个 boolean 类型的参数,指明是否同时将文件元数据(权限信息等)
写到磁盘上。

2.4.9 FileChannel 的 transferTo 和 transferFrom 方法

通道之间的数据传输:
如果两个通道中有一个是 FileChannel,那你可以直接将数据从一个 channel 传输到
另外一个 channel。

  • (1)transferFrom()方法
    FileChannel 的 transferFrom()方法可以将数据从源通道传输到 FileChannel 中(译
    者注:这个方法在 JDK 文档中的解释为将字节从给定的可读取字节通道传输到此通道
    的文件中)。下面是一个 FileChannel 完成文件间的复制的例子:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
public class FileChannelWrite {
public static void main(String args[]) throws Exception {
RandomAccessFile aFile = new
RandomAccessFile("d:\\atguigu\\01.txt", "rw");
FileChannel fromChannel = aFile.getChannel();
RandomAccessFile bFile = new
RandomAccessFile("d:\\atguigu\\02.txt", "rw");
FileChannel toChannel = bFile.getChannel();
long position = 0;
long count = fromChannel.size();
toChannel.transferFrom(fromChannel, position, count);
aFile.close();
bFile.close();
System.out.println("over!");
}
}

方法的输入参数 position 表示从 position 处开始向目标文件写入数据,count 表示
最多传输的字节数。如果源通道的剩余空间小于 count 个字节,则所传输的字节数要
小于请求的字节数。此外要注意,在 SoketChannel 的实现中,SocketChannel 只会
传输此刻准备好的数据(可能不足 count 字节)。因此,SocketChannel 可能不会将
请求的所有数据(count 个字节)全部传输到 FileChannel 中。

  • (2)transferTo()方法

transferTo()方法将数据从 FileChannel 传输到其他的 channel 中。
下面是一个 transferTo()方法的例子:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
public class FileChannelDemo {
public static void main(String args[]) throws Exception {
RandomAccessFile aFile = new
RandomAccessFile("d:\\atguigu\\02.txt", "rw");
FileChannel fromChannel = aFile.getChannel();
RandomAccessFile bFile = new
RandomAccessFile("d:\\atguigu\\03.txt", "rw");
FileChannel toChannel = bFile.getChannel();
long position = 0;
long count = fromChannel.size();
fromChannel.transferTo(position, count, toChannel);
aFile.close();
bFile.close();
System.out.println("over!");
}
}

2.4 Socket 通道

(1)新的 socket 通道类可以运行非阻塞模式并且是可选择的,可以激活大程序(如
网络服务器和中间件组件)巨大的可伸缩性和灵活性。本节中我们会看到,再也没有
为每个 socket 连接使用一个线程的必要了,也避免了管理大量线程所需的上下文交换
开销。借助新的 NIO 类,一个或几个线程就可以管理成百上千的活动 socket 连接了
并且只有很少甚至可能没有性能损失。所有的 socket 通道类(DatagramChannel、
SocketChannel 和 ServerSocketChannel)都继承了位于 java.nio.channels.spi 包中
的 AbstractSelectableChannel。这意味着我们可以用一个 Selector 对象来执行
socket 通道的就绪选择(readiness selection)。

(2)请注意 DatagramChannel 和 SocketChannel 实现定义读和写功能的接口而
ServerSocketChannel 不实现。ServerSocketChannel 负责监听传入的连接和创建新
的 SocketChannel 对象,它本身从不传输数据。

(3)在我们具体讨论每一种 socket 通道前,您应该 了解 socket 和 socket 通道之间
的关系
。通道是一个连接 I/O 服务导管并提供与该服务交互的方法。就某个 socket 而
言,它不会再次实现与之对应的 socket 通道类中的 socket 协议 API ,而 java.net 中
已经存在的 socket 通道都可以被大多数协议操作重复使用。

全部 socket 通道类(DatagramChannel、SocketChannel 和
ServerSocketChannel)在被实例化时都会创建一个对等 socket 对象。这些是我们所
熟悉的来自 java.net 的类(Socket、ServerSocket 和 DatagramSocket),它们已
经被更新以识别通道。对等 socket 可以通过调用 socket( )方法从一个通道上获取。
此外,这三个 java.net 类现在都有 getChannel( )方法。

(4)要把一个 socket 通道置于非阻塞模式,我们要依靠所有 socket 通道类的公有
超级类:SelectableChannel。就绪选择(readiness selection)是一种可以用来查
询通道的机制,该查询可以判断通道是否准备好执行一个目标操作,如读或写。非阻
塞 I/O 和可选择性是紧密相连的,那也正是管理阻塞模式的 API 代码要在
SelectableChannel 超级类中定义的原因。

设置或重新设置一个通道的阻塞模式是很简单的,只要调用 configureBlocking( )方
法即可,传递参数值为 true 则设为阻塞模式,参数值为 false 值设为非阻塞模式。可
以通过调用 isBlocking( )方法来判断某个 socket 通道当前处于哪种模式。
AbstractSelectableChannel.java 中实现的 configureBlocking()方法如下:

configureBlocking()方法

非阻塞 socket 通常被认为是服务端使用的,因为它们使同时管理很多 socket 通道变
得更容易。但是,在客户端使用一个或几个非阻塞模式的 socket 通道也是有益处的,
例如,借助非阻塞 socket 通道,GUI 程序可以专注于用户请求并且同时维护与一个或
多个服务器的会话。在很多程序上,非阻塞模式都是有用的。

偶尔地,我们也会需要防止 socket 通道的阻塞模式被更改。API 中有一个
blockingLock( )方法,该方法会返回一个非透明的对象引用。返回的对象是通道实现
修改阻塞模式时内部使用的。只有拥有此对象的锁的线程才能更改通道的阻塞模式。
下面分别介绍这 3 个通道

2.5.1 ServerSocketChanne


本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!