面试官——什么是NIO?NIO的原理是什么机制?

本人花费半年的时间总结的《Java面试指南》已拿腾讯等大厂offer,已开源在github ,欢迎star!

本文GitHub https://github.com/OUYANGSIHAI/JavaInterview 已收录,这是我花了6个月总结的一线大厂Java面试总结,本人已拿大厂offer,欢迎star

原文链接:blog.ouyangsihai.cn >> 面试官——什么是NIO?NIO的原理是什么机制?

面试官:什么是NIO?NIO的原理是什么机制?
作者:依本多情 https://blog.csdn.net/qq_36520235/

https://blog.csdn.net/qq_36520235/

NIO和IO到底有什么区别?有什么关系?

首先说一下核心区别:

  • NIO是以块的方式处理数据,但是IO是以最基础的字节流的形式去写入和读出的。所以在效率上的话,肯定是NIO效率比IO效率会高出很多。
  • NIO不在是和IO一样用OutputStream和InputStream 输入流的形式来进行处理数据的,但是又是基于这种流的形式,而是采用了通道和缓冲区的形式来进行处理数据的。
  • 还有一点就是NIO的通道是可以双向的,但是IO中的流只能是单向的。
  • 还有就是NIO的缓冲区(其实也就是一个字节数组)还可以进行分片,可以建立只读缓冲区、直接缓冲区和间接缓冲区,只读缓冲区很明显就是字面意思,直接缓冲区是为加快 I/O 速度,而以一种特殊的方式分配其内存的缓冲区。
  • 补充一点:NIO比传统的BIO核心区别就是,NIO采用的是多路复用的IO模型,普通的IO用的是阻塞的IO模型,两个之间的效率肯定是多路复用效率更高
  • 先了解一下什么是通道,什么是缓冲区的概念

    通道是个什么意思?

  • 通道是对原 I/O 包中的流的模拟。到任何目的地(或来自任何地方)的所有数据都必须通过一个 Channel 对象(通道)。一个 Buffer 实质上是一个容器对象。发送给一个通道的所有对象都必须首先放到缓冲区中;同样地,从通道中读取的任何数据都要读到缓冲区中。Channel是一个对象,可以通过它读取和写入数据。拿 NIO 与原来的 I/O 做个比较,通道就像是流。
  • 正如前面提到的,所有数据都通过 Buffer 对象来处理。您永远不会将字节直接写入通道中,相反,您是将数据写入包含一个或者多个字节的缓冲区。同样,您不会直接从通道中读取字节,而是将数据从通道读入缓冲区,再从缓冲区获取这个字节。
  • 正如前面提到的,所有数据都通过 Buffer 对象来处理。您永远不会将字节直接写入通道中,相反,您是将数据写入包含一个或者多个字节的缓冲区。同样,您不会直接从通道中读取字节,而是将数据从通道读入缓冲区,再从缓冲区获取这个字节。

    缓冲区是什么意思:

  • Buffer 是一个对象, 它包含一些要写入或者刚读出的数据。在 NIO 中加入 Buffer 对象,体现了新库与原 I/O 的一个重要区别。在面向流的 I/O 中,您将数据直接写入或者将数据直接读到 Stream 对象中
  • 在 NIO 库中,所有数据都是用缓冲区处理的。在读取数据时,它是直接读到缓冲区中的。在写入数据时,它是写入到缓冲区中的。任何时候访问 NIO 中的数据,您都是将它放到缓冲区中。
  • 缓冲区实质上是一个数组。通常它是一个字节数组,但是也可以使用其他种类的数组。但是一个缓冲区不 仅仅 是一个数组。缓冲区提供了对数据的结构化访问,而且还可以跟踪系统的读/写进程
  • 在 NIO 库中,所有数据都是用缓冲区处理的。在读取数据时,它是直接读到缓冲区中的。在写入数据时,它是写入到缓冲区中的。任何时候访问 NIO 中的数据,您都是将它放到缓冲区中。

    缓冲区的类型:

    ByteBuffer CharBuffer ShortBuffer IntBuffer LongBuffer FloatBuffer DoubleBuffer

    NIO的底层工作原理

    先来了解一下buffer的工作机制:

  • capacity 缓冲区数组的总长度
  • position 下一个要操作的数据元素的位置
  • limit 缓冲区数组中不可操作的下一个元素的位置,limit=capacity
  • mark 用于记录当前 position 的前一个位置或者默认是 0
  • position 下一个要操作的数据元素的位置

    mark 用于记录当前 position 的前一个位置或者默认是 0

    1.这一步其实是当我们刚开始初始化这个buffer数组的时候,开始默认是这样的

    2、但是当你往buffer数组中开始写入的时候几个字节的时候就会变成下面的图,position会移动你数据的结束的下一个位置,这个时候你需要把buffer中的数据写到channel管道中,所以此时我们就需要用这个 buffer.flip();方法,

    3、当你调用完2中的方法时,这个时候就会变成下面的图了,这样的话其实就可以知道你刚刚写到buffer中的数据是在position—-limit之间,然后下一步调用 clear();

    4、这时底层操作系统就可以从缓冲区中正确读取这 5 个字节数据发送出去了。在下一次写数据之前我们在调一下 clear() 方法。缓冲区的索引状态又回到初始位置。(其实这一步有点像IO中的把转运字节数组  char[] buf = new char[1024]; 不足1024字节的部分给强制刷新出去的意思)

    补充:

    1、这里还要说明一下 mark,当我们调用  mark() 时,它将记录当前 position 的前一个位置,当我们调用 reset 时,position 将恢复 mark 记录下来的值

    2.clear()方法会:清空整个缓冲区。position将被设回0,limit被设置成 capacity的值(这个个人的理解就是当你在flip()方法的基础上已经记住你写入了多少字节数据,直接把position到limit之间的也就是你写入已经记住的数据给“复制”到管道中)

    3.当你把缓冲区的数局写入到管道中的时候,你需要调用flip()方法将Buffer从写模式切换到读模式,调用flip()方法会将position设回0,并将limit设置成之前position的值。buf.flip();(其实我个人理解的就相当于先记住缓冲区缓冲了多少数据)

    NIO 工作代码示例

    
    public void selector() throws IOException {
    //先给缓冲区申请内存空间
            ByteBuffer buffer = ByteBuffer.allocate(1024);
         //打开Selector为了它可以轮询每个 Channel 的状态
            Selector selector = Selector.open();
            ServerSocketChannel ssc = ServerSocketChannel.open();
            ssc.configureBlocking(false);//设置为非阻塞方式
            ssc.socket().bind(new InetSocketAddress(8080));
            ssc.register(selector, SelectionKey.OP_ACCEPT);//注册监听的事件
            while (true) {
                Set selectedKeys = selector.selectedKeys();//取得所有key集合
                Iterator it = selectedKeys.iterator();
                while (it.hasNext()) {
                    SelectionKey key = (SelectionKey) it.next();
                    if ((key.readyOps() & SelectionKey.OP_ACCEPT) == SelectionKey.OP_ACCEPT) {
                        ServerSocketChannel ssChannel = (ServerSocketChannel) key.channel();
                     SocketChannel sc = ssChannel.accept();//接受到服务端的请求
                        sc.configureBlocking(false);
                        sc.register(selector, SelectionKey.OP_READ);
                        it.remove();
                    } else if 
                    ((key.readyOps() & SelectionKey.OP_READ) == SelectionKey.OP_READ) {
                        SocketChannel sc = (SocketChannel) key.channel();
                        while (true) {
                            buffer.clear();
                            int n = sc.read(buffer);//读取数据
                            if (n = 0) {
                                break;
                            }
                            buffer.flip();
                        }
                        it.remove();
                    }
                }
            }
    }
    

    最后给大家看一下整体的NIO的示意图

    NIO和Netty的工作模型对比?

    (1)NIO的工作流程步骤:

  • 首先是先创建ServerSocketChannel 对象,和真正处理业务的线程池
  • 然后给刚刚创建的ServerSocketChannel 对象进行绑定一个对应的端口,然后设置为非阻塞
  • 然后创建Selector对象并打开,然后把这Selector对象注册到ServerSocketChannel 中,并设置好监听的事件,监听 SelectionKey.OP_ACCEPT
  • 接着就是Selector对象进行死循环监听每一个Channel通道的事件,循环执行 Selector.select() 方法,轮询就绪的 Channel
  • 从Selector中获取所有的SelectorKey(这个就可以看成是不同的事件),如果SelectorKey是处于 OP_ACCEPT 状态,说明是新的客户端接入,调用 ServerSocketChannel.accept 接收新的客户端。
  • 然后对这个把这个接受的新客户端的Channel通道注册到ServerSocketChannel上,并且把之前的OP_ACCEPT 状态改为SelectionKey.OP_READ读取事件状态,并且设置为非阻塞的,然后把当前的这个SelectorKey给移除掉,说明这个事件完成了
  • 如果第5步的时候过来的事件不是OP_ACCEPT 状态,那就是OP_READ读取数据的事件状态,然后调用本文章的上面的那个读取数据的机制就可以了
  • (2)Netty的工作流程步骤:

  • 创建 NIO 线程组 EventLoopGroup 和 ServerBootstrap。
  • 设置 ServerBootstrap 的属性:线程组、SO_BACKLOG 选项,设置 NioServerSocketChannel 为 Channel,设置业务处理 Handler
  • 绑定端口,启动服务器程序。
  • 在业务处理 TimeServerHandler 中,读取客户端发送的数据,并给出响应
  • (3)两者之间的区别:

  • OP_ACCEPT 的处理被简化,因为对于 accept 操作的处理在不同业务上都是一致的。
  • 在 NIO 中需要自己构建 ByteBuffer 从 Channel 中读取数据,而 Netty 中数据是直接读取完成存放在 ByteBuf 中的。相当于省略了用户进程从内核中复制数据的过程。
  • 在 Netty 中,我们看到有使用一个解码器 FixedLengthFrameDecoder,可以用于处理定长消息的问题,能够解决 TCP 粘包读半包问题,十分方便。
  • END

    Java面试题专栏

    面试官:什么是NIO?NIO的原理是什么机制?

    我知道你 “在看面试官:什么是NIO?NIO的原理是什么机制?

    原文始发于微信公众号(Java知音):面试官:什么是NIO?NIO的原理是什么机制?

    本人花费半年的时间总结的《Java面试指南》已拿腾讯等大厂offer,已开源在github ,欢迎star!

    本文GitHub https://github.com/OUYANGSIHAI/JavaInterview 已收录,这是我花了6个月总结的一线大厂Java面试总结,本人已拿大厂offer,欢迎star

    原文链接:blog.ouyangsihai.cn >> 面试官——什么是NIO?NIO的原理是什么机制?


     上一篇
    你必须要知道的锁原理、锁优化、CAS、AQS 你必须要知道的锁原理、锁优化、CAS、AQS
    作者:景小财 www.jianshu.com/p/e674ee68fd3f www.jianshu.com/p/e674ee68fd3f 1、为什么要用锁?锁-是为了解决并发操作引起的脏读、数据不一致的问题。 2、锁实现
    下一篇 
    强软弱虚引用,只有体会过了,才能记住 强软弱虚引用,只有体会过了,才能记住
    作者:CoderBear juejin.im/post/5e65b8096fb9a07cbb6e4a43 juejin.im/post/5e65b8096fb9a07cbb6e4a43 以前学习强软弱