马哥 38_02 _Linux集群系列之八——高可用集群原理详解之共享存储) 有大用

硬盘接口类型

机械硬盘:随机读写慢    顺序读写快

    IDE:(ATA):130MB/秒

    SATA:    600MB/秒

                7200rpm

                IOPS:100

    SCSI:  320M  15000rpm   IOPS:200    

    SAS:    15000rpm    IOPS:200    

    USB 3.0:    400M

固态硬盘(ssd硬盘):电子设备 随机读写与顺序读写差不多快

         接在pci-1 口上的硬盘,应该是更好性能的,更好质量的,直接接在北桥上的(高速率总线),不像sata口还需要接在南桥(慢速率总线)

        许多计算机设计体系上,内存都是通过北桥连在cpu总线上的

        硬盘接在pci-1 口上,硬盘性能足够好的话,性能会提升很多,像pci-io这种口(或pci-1上经过优化后的口),比内存性能只慢一个数量级左右;;;我们平时的盘比内存慢3-4个数量级

        我些企业把mysql的data数据文件直接放在pci-1的sis口上去了,性能非常强劲

IDE,SCSI:并口

SATA,SAS,USB:串口,串口反而更快一点

存储结构

    DAS:Directory Acctached Storage 直接附加存储

            直接接到主板总线,Mother board  BUS(主板总线)

            通过主板总线连的设备是有限的,DAS设备很难进行共享

            文件:块级

    NAS:Network Acctached Storage 网络附加存储

            文件服务器 :文件级别

    SAN:存储区域(局域)网络    Storage Area network

                FC SAN :(Fibre Channel)借助于光通道的 

                IP  SAN : iscsi  借助于互联网的 ,它的首部叫做iscsi首部

    把本地总线上的数据转化成能够通过网络发送,延长DAS的线缆的传输距离的这么一种共享存储设备,支持多节点同时接入的

    SCSI: Small Computer System Interface ,比IDE功能强大,内部有控制芯片,类似于cpu,可以自动控制着进行计算

            与DMA (Director Memory Access)原理类似,DMA也是一个芯片,,大意是 cpu 把读写文件的功能交给DMA去执行吧,cpu会大大解放出来  ,,,IDE,网卡现在都有DMA的功能

            IDE能接两个,一主一副,SATA只能接一个,SCSI可以有多个口叫target,,每个target都有号码,每个target上面接磁盘,每个磁盘都有号码,叫LUN(logical unit number)逻辑单元号;scsi总线的线缆长度是有限的,

FC: ( Fibre Channel )光纤接口,Fibre Channel，网状通道技术

可以理解为借助于光纤这样一个隧道,来让scsi报文传输到更长的距离

客户端本地看到的是磁盘设备,不是共享文件系统,所以能够分区格式化,

甚至可以把右边服务端的IDE分区告诉左边客户端,这里一个SCSI盘,

左边客户端甚至可以再分区再格式化的,可以进行安装操作系统的

但? 原来没有操作系统,如何与远程主机连接?

有些内核在初始化的时候,直接初始化出来这样一个驱动,就能连接了

内核在远程磁盘上,如何加载?

有些光网卡,在系统启动的时候自己可以连到远程主机上,识别出设备,直接送给内核,

所以一启动,直接就在本地了,直接加载了,我们不需要做任何事了

右边主机看上去是个服务器(与NFS一样),这个服务器输出的存储能力是块级别的,因为它是SCSI协议报文

但是NFS是文件级别的,所以NFS传输速度慢

我们通过光纤来传输数据的,需要光纤交换机,

左边光适配器要能够加载设备,识别设备,然后识别给本地的

光交换机(很贵)要能够接受光卡(贵)的请求,还能够将服务器上的硬盘设备输出给光卡

光缆(也贵)

FC SAN一套设备几十万,几百万,上千万

几十万的太廉价了,性能,质量无法保证

动辄上百万正常

它是个专用网,只能在内部实现存储的

这就是SAN

传输长距离,要么运营商的,要么自建

现有的互联网可以传,借助于互联网协议封装也可以

iscsi 就是internet scsi

iscsi 非常便宜,千兆网卡,千兆以太网等很便宜

iscsi只能供存储能力,不提供锁的,会崩溃,

所以给各个客户端主机做成集群文件系统

client1写了,client2就可以看到了,所以就不会同时写了

但是有可能集群脑裂了,client1看不到client2写了

集群脑裂的结果就是文件系统可能会崩溃

,所以要STONITH,FENSE (fensing)

假如ISCSI服务器挂了,也就是说也要对ISCSi做高可用

两个ISCSI会使用共享存储,所以也有可能会脑裂的

两根网线高可用,存储设备的多路径

 Multi path  ,,,它也需要在客户端上有驱动

平时可只用一根线,也可负载均衡的方式用,

客户端电源也要做两个,高可用

或者多个成员客户端,,超过半数人不能联系到,就认为对方挂了

高可用集群一般多于2个,2个的高可用集群是独特的

3个的话,集群事务信息怎么转移,资源转移时如何转移