川大ATC实验平台手册
一、刀箱管理
(实验室c7000刀箱紫光华山8008102058报修S/N:6CU633XX51)
OA:https://168.192.11.200/
User:Administrator
PW:XQKXKEU6
VC:
User:Administrator
PW:X7MJ8MW9
Bay1:
Vsphere:168.192.11.250
User:root
PW:1234567
Bay2:
Vsphere:168.192.11.249
User:root
PW:1234567
1) Web管理:访问iLO Web用户界面。
2)集成远程控制台:从单个控制台中访问系统 KVM 以及控制虚拟电源。
3)远程控制台:从远程控制台中访问系统 KVM,需Java 虚拟机运行时环境(JRE)。
安装VMware-VMvisor-Installer-6.0.0-2159203.x86_64失败，提示nfsclient失败、未找到网卡。
——重新设置网卡且保证链接网线：一个网卡连接到NetA（Uplink是VC1 的PORT5口，启动UEFI识别），并配置能检测的网线连接状态的选项后再试。
https://168.192.11.248/applmgmt/support-bundle
/3/24升级OA/VC前：
/3/24升级OA/VC后：
二、3PAR存储
(实验室3PAR 7200c紫光华山8008103860报修S/N:7CE616P46H)
License key was generated on Mon Apr 18 18:54:03
lSystem is licensed for 8 disks.
License features currently enabled:
l3PAR OS Suite
lAdaptive Flash Cache
lThin Copy Reclamation
lThin Deduplication
规划信息：Controller Node的IP；Service Processor的IP（同一网段）；
参考（/p-613843256.html）
3PAR 的操作系统叫 InForm，最初就是面向层次化的设计。与其他存储不同的是，3PAR 所有磁盘被分成 256MB 统一大小的小盘(Chunklet)，可以根据需要用多个 Chunklet 组成 RAIDlet(逻辑磁盘)。因为Hotspare Chunklet 以更小的单位分散在不同的磁盘上，也不再需要单独留热备盘。因为固定大小的 Chunklet 的存在，可以将 I/O 更为均匀的分散到多个磁盘上。
*前面2个步骤是对3PAR进行初始化：
1、OOTB:(Out-of-the-Box针对3PAR Controller Node初始化)设置和配置存储系统软件（数据会完全丢失）：在串行端口上使用针对便携式计算机的灰色适配器(PN 180-0055) 连接到控制器节点Mfg端口(使用直连网线)。使用PuTTY的串口模式，波特率设置为“57600”， 使用用户ID：console，密码：cmp43pd登录。选1. Out Of The Box Procedure进行OOTB初始，两个nodes的MGMT端口IP均为168.192.11.59（236）。假如使用用户ID：3paradm密码：3pardata登录就是对应HP 3PAR Management Console 4.7.0 (简称IMC)的命令行方式，可以对3par StoreServ进行管理和操作，关机命令：shutdownsys halt/reboot。
2、MOB：（针对Service Processor初始化，以后用来Troubleshooting和Replace 3par的管理工具）首先将3PAR_Virt_SP_4.4_MU2_Vmware_ESX_SW_QR482-11093(简称VSP,提供VMware &Hyper-V两种虚拟版本)，通过“部署OVF模板”方式导入到vSphere ESXi，启动后SP00000 login: root，密码为空，登陆进行Service Processor Moment of Birth任务。
*步骤3是初始化之后的配置：
3、登陆HP 3PAR Management Console 4.7.0（ID：3paradm密码：3pardata）：
HP 3PAR存储将一台主机看作一系列光纤卡WWN(World Wide Names)或是iSCSI Name的组合。物理上连接到存储端口上的主机会被自动检测到。Fibre Channel over Ethernet (FCoE)连接方式在HP 3PAR StoreServ 10000 Storage systems和HP 3PAR StoreServ 7000 Storage systems通过Converged Network Adapters (CNA)支持。
首先配置FC Ports；对端刀箱VC配置SAN Fabrics，Tpye：DirectAttach。“Port Status”状态为NO LOGGED时通过如下操作解决。
通过以下命令将3PAR端口改成point测试，端口状态变为LOGGED-IN
controlport offline 0:1:1
controlport config host -ct point 0:1:1
controlport rst 0:1:1
图1、端口状态变为LOGGED-IN
3.1创建CPG（Common Provisioning Group），Availability必需设为“盘盒”即:Magazine(Lower)。另：选RAID5(3data/1parity)，因为是8块硬盘，硬盘数应能被8和2整除，否则报错。CPG其实就是一个虚拟的池，刚开始里面啥也没有，只有策略（这些策略就是上面的各种参数，如RAID级别啦，set size, step size，哪些硬盘，哪种硬盘啦等等）。当LUN需要空间的时候，通过CPG策略，可以生成符合策略的LD(Logical Disks)，然后再从LD里分配空间给VLUN。
3.2创建VV(Virtual Volume)，创建后空间只能增加不能缩小，增加空间原有数据不受影响，删除VV再创建需等存储释放空间后进行，使用ssh登陆，通过命令：
The following example displays chunklet(条块)use information for all disks:
cli% showpd –c
查看Uninit降为0再创建VV，否则未释放的空间不可用。CPG只是创建规则例如RAID级别等，创建VV时按照CPG的规则实际分配并格式化空间。
3.3创建HOST，Host OS：ESX 4x/5x。假如ESXi（HP定制的ESXiVMware-ESXi-6.0.0-2494585-HP-600.9.1.39-Mar测试OK，否则得不到WWN号）安装了兼容的网卡驱动（因为使用FCoE），“Available WWNs”会显示可用WWNs，指定到Assigned WWNs。
[root@ESXi-6.0.0:~] dmesg |grep Broadcom//OK for VMware ESXi 6.0.0 2494585
<6>Broadcom NetXtreme II CNIC Registration Agent cnic_register v1.710.30.v55.1 (June 25, )
<6>Broadcom NetXtreme II 5771x/578xx 10/20-Gigabit Ethernet Driver bnx2x 2.710.39.v55.2 ($DateTime: /07/15 3:37:42 $)
<6>Broadcom NetXtreme II CNIC Driver cnic v2.710.35.v55.5 (July 15, )
<6>Broadcom NetXtreme II iSCSI Driver bnx2i v2.710.30.v55.4 (Jun 25, )
<6>bnx2fc: Broadcom NetXtreme II FCoE Driver bnx2fcv1.710.35.v55.7(Sep 30, )
-08-11T00:59:37.074Z cpu16:33210)WARNING: LinScsiLLD: scsi_add_host:573: vmkAdapter (Broadcom Offload FCoE Initiator) sgMaxEntries rounded to 255. Reported size was 256
-08-11T00:59:41.645Z cpu6:33238)WARNING: LinScsi: SCSILinuxQueueCommand:1207: queuecommand failed with status = 0x1055 Host Busy vmhba33:0:0:0 (driver name: Broadcom OffloadFCoE Initiator) - Message repeated 1 time
注：版本高了也不行，例如v1.713.20.v60.4 版本的ESXi找不到FCoE存储。
[root@localhost:~] dmesg |grep QLogic//NoOK for VMware ESXi 6.0.0 3620759和Update3-5224934
<6>QLogic CNIC Registration Agent cnic_register v1.713.10.v60.1 (September 28, )
<6>bnx2fc: QLogic 10 Gigabit ESX Ethernet FCoE Driver bnx2fc v1.713.20.v60.4 (Oct 16, )
图2、ESXi驱动正常会显示“以太网光纤通道”
虚拟卷由CPG中抽取资源，并且对主机映射为logical unit numbers(LUNs)。虚拟卷是唯一对主机可见的数据层。可以为虚拟卷生成物理拷贝或是快照，如果原始的虚拟卷不可用时，仍能继续工作。
3.4分配VV虚拟磁盘：把VV Map给主机HOST（VLUN:一个VLUN其实是由无数的LD组成，每个LD都是有归属的）。为了让主机访问到一个虚拟卷，这个卷必须被映射成为一个LUN.通过生成虚拟卷-LUN对Volume-LUN pairings (VLUNs)来进行卷的映射。
图3、Map后ESXi显示该存储“ATC-SPACE”
* Troubleshooting：
1、日志收集：用附件的putty 工具，设置一下logging session，然后用ssh方式登录到vcm在命令行下输入：show all *，然后再回到logging session 所设置的文件夹，找到生成的log。
2、3par存储修改HOST的名称，不会影响ESXi使用该存储，VLUN映射从单主机改为主机组也不影响。
/11/2
来自 “ ITPUB博客 ” ，链接：/7970627/viewspace-2143427/，如需转载，请注明出处，否则将追究法律责任。
如果觉得《川大ATC实验平台手册》对你有帮助，请点赞、收藏，并留下你的观点哦！
