Giving Cloud Computing an Edge (cid:135) Alasdair Lumsden (cid:135) [email protected] (cid:135) blogs.everycity.co.uk/alasdair EveryCity = Managed Hosting on Cloud Infrastructure (cid:58)(cid:75)(cid:68)(cid:87)(cid:3)(cid:76)(cid:86)(cid:3)(cid:179)Cloud(cid:180)(cid:34) - For us, Cloud = Fully Virtualised Infrastructure Why Cloud? One word: Manageability. Resize CPU, Memory, Disk easily Rapid provisioning of new servers Move servers around Clone Servers instantly Respawning after hardware failure Reduces Server Sprawl Physical View: Technologies: Zeus ZXTM Load Balancers Primarily Solaris 10 Hosts running Zones Citrix XenServer for Windows & Linux Requirements ZFS based SANs including Sun Unified Storage Arrays (cid:179)(cid:38)(cid:72)(cid:79)(cid:79)(cid:180) Logical View: Zone Zone Zone ZPool ZPool ZPool Solaris 10 iSCSI ZVol ZVol ZVol ZPool OpenSolaris based SAN COMSTAR Why Solaris Zones Rock: Update on Attach Superlight weight virtualisation Portability Speed of Booting Very fast provisioning DTrace Resource Management RBAC Scripting and manageability Auditing Service Management Framework Why ZFS Rocks: Without (cid:61)(cid:41)(cid:54)(cid:15)(cid:3)(cid:80)(cid:88)(cid:70)(cid:75)(cid:3)(cid:82)(cid:73)(cid:3)(cid:90)(cid:75)(cid:68)(cid:87)(cid:3)(cid:90)(cid:72)(cid:3)(cid:68)(cid:85)(cid:72)(cid:3)(cid:71)(cid:82)(cid:76)(cid:81)(cid:74)(cid:3)(cid:86)(cid:76)(cid:80)(cid:83)(cid:79)(cid:92)(cid:3)(cid:90)(cid:82)(cid:88)(cid:79)(cid:71)(cid:81)(cid:182)(cid:87)(cid:3)(cid:69)(cid:72)(cid:3)(cid:83)(cid:82)(cid:86)(cid:86)(cid:76)(cid:69)(cid:79)(cid:72)(cid:17) ZFS: Allows rapid cloning of running servers Allows server snapshots Massively simplify backups Allows mirroring across SANs (cid:177) data portability, tiered storage Compression saves space AND increases performance Checksums all data. You know your data is correct on disk. ZFS Checksums can save your bacon: c13t7d0    ONLINE              0          0          4    3.50K  repaired c12t7d0    ONLINE              0          0          3    7K  repaired NAME                  STATE          READ  WRITE  CKSUM c8t7d0      ONLINE              0          0          2    4.50K  repaired c7t7d0      ONLINE              0          0          4    11.5K  repaired pool01              DEGRADED          0          0          0 c10t6d0    ONLINE              0          0          4    11K  repaired raidz1-­0      ONLINE              0          0          0 c13t6d0    ONLINE              0          0          8    86K  repaired c11t3d0    ONLINE              0          0          4    2.50K  repaired c12t6d0    ONLINE              0          0          0 c10t3d0    ONLINE              0          0          0 c8t6d0      ONLINE              0          0          2    1K  repaired c13t3d0    ONLINE              0          0          4    1.50K  repaired c7t6d0      ONLINE              0          0          2    2.50K  repaired   c7t1d0      REMOVED            0          0          0 raidz1-­2      DEGRADED          0          0          0 c8t3d0      ONLINE              0          0          5    1K  repaired c11t5d0    ONLINE              0          0          1    9K  repaired c7t3d0      ONLINE              0          0          4    2K  repaired c10t5d0    ONLINE              0          0          1    13K  repaired c10t2d0    ONLINE              0          0          3    1K  repaired c13t5d0    ONLINE              0          0          2    1.50K  repaired c13t2d0    ONLINE              0          0          2    1K  repaired c12t5d0    ONLINE              0          0          1    1K  repaired c11t6d0    ONLINE              0          0          3    1K  repaired c8t5d0      DEGRADED          0          0      135    too  many  errors c8t2d0      ONLINE              0          0        16    7K  repaired c7t5d0      ONLINE              0          0          2    1.50K  repaired c7t2d0      ONLINE              0          0          4    2.50K  repaired c10t4d0    ONLINE              0          0          8    44K  repaired raidz1-­1      DEGRADED          0          0          0 c13t4d0    ONLINE              0          0          3    5K  repaired c11t7d0    ONLINE              0          0          6    64K  repaired c12t4d0    ONLINE              0          0          3    2K  repaired c10t7d0    DEGRADED          0          0        58    too  many  errors c8t4d0      ONLINE              0          0          2    6.50K  repaired c7t4d0      ONLINE              0          0          2    13.5K  repaired # iostat -En | grep c7t1d0 c7t1d0 Soft Errors: 1 Hard Errors: 127488 Transport Errors: 0 A refreshing change from this sort of thing (Linux Host): #  dmesg <snip> sdb:  Mode  Sense:  04  00  80  00 sdb:  assuming  drive  cache:  write  through sdb:  Spinning  up   disk......................................................................................................not   responding... sdb :  READ  CAPACITY  failed. sdb :  status=1,  message=00,  host=0,  driver=08 sd:  Current:  sense  key:  Not  Ready Add.  Sense:  No  additional  sense  information sdb:  Write  Protect  is  on sdb:  Mode  Sense:  04  00  80  00 sdb:  assuming  drive  cache:  write  through sdb:  Spinning  up   disk......................................................................................................not   responding... sdb :  READ  CAPACITY  failed. sdb :  status=1,  message=00,  host=0,  driver=08 sd:  Current:  sense  key:  Not  Ready Add.  Sense:  No  additional  sense  information sdb:  Write  Protect  is  on sdb:  Mode  Sense:  04  00  80  00 sdb:  assuming  drive  cache:  write  through sdb:<3>Buffer  I/O  error  on  device  sdb,  logical  block  0 Buffer  I/O  error  on  device  sdb,  logical  block  0 Buffer  I/O  error  on  device  sdb,  logical  block  0 Buffer  I/O  error  on  device  sdb,  logical  block  0 Buffer  I/O  error  on  device  sdb,  logical  block  0 Buffer  I/O  error  on  device  sdb,  logical  block  0 Buffer  I/O  error  on  device  sdb,  logical  block  0 Dev  sdb:  unable  to  read  RDB  block  0 Buffer  I/O  error  on  device  sdb,  logical  block  0 Buffer  I/O  error  on  device  sdb,  logical  block  0 unable  to  read  partition  table NAME                                                                                  STATE          READ  WRITE  CKSUM ZFS Performance : Hybrid Storage Pools pool-­0                                                                              ONLINE              0          0          0 mirror                                                                          ONLINE              0          0          0 c0t5000CCA214C83E36d0                                        ONLINE              0          0          0 c0t5000CCA214C83ED0d0                                        ONLINE              0          0          0 mirror                                                                          ONLINE              0          0          0 c0t5000CCA214C84E3Ad0                                        ONLINE              0          0          0 c0t5000CCA214C85B2Dd0                                        ONLINE              0          0          0 mirror                                                                          ONLINE              0          0          0 c0t5000CCA214C85B34d0                                        ONLINE              0          0          0 c0t5000CCA214C85B38d0                                        ONLINE              0          0          0 mirror                                                                          ONLINE              0          0          0 c0t5000CCA214C86CE6d0                                        ONLINE              0          0          0 2 SATA Boot Disks c0t5000CCA214C86D2Fd0                                        ONLINE              0          0          0 mirror                                                                          ONLINE              0          0          0 c0t5000CCA214C86D24d0                                        ONLINE              0          0          0 c0t5000CCA214C86D26d0                                        ONLINE              0          0          0 mirror                                                                          ONLINE              0          0          0 42 SATA Data Disks c0t5000CCA214C86D46d0                                        ONLINE              0          0          0 c0t5000CCA214C869AAd0                                        ONLINE              0          0          0 mirror                                                                          ONLINE              0          0          0 c0t5000CCA214C871AAd0                                        ONLINE              0          0          0 c0t5000CCA214C871B7d0                                        ONLINE              0          0          0 mirror                                                                          ONLINE              0          0          0 2 ZIL/SLOG Devices c0t5000CCA214C871C8d0                                        ONLINE              0          0          0 c0t5000CCA214C871CDd0                                        ONLINE              0          0          0 mirror                                                                          ONLINE              0          0          0 c0t5000CCA214C871E0d0                                        ONLINE              0          0          0 c0t5000CCA214C871E1d0                                        ONLINE              0          0          0 2 Hot Spare SATA Disks mirror                                                                          ONLINE              0          0          0 c0t5000CCA214C871FDd0                                        ONLINE              0          0          0 c0t5000CCA214C87478d0                                        ONLINE              0          0          0 mirror                                                                          ONLINE              0          0          0 c0t5000CCA214C875AFd0                                        ONLINE              0          0          0 c0t5000CCA214C875B0d0                                        ONLINE              0          0          0 mirror                                                                          ONLINE              0          0          0 c0t5000CCA214C875DAd0                                        ONLINE              0          0          0 c0t5000CCA214C875DCd0                                        ONLINE              0          0          0 mirror                                                                          ONLINE              0          0          0 c0t5000CCA214C875EAd0                                        ONLINE              0          0          0 c0t5000CCA214C8718Dd0                                        ONLINE              0          0          0 mirror                                                                          ONLINE              0          0          0 c0t5000CCA214C8723Ad0                                        ONLINE              0          0          0 c0t5000CCA214C84605d0                                        ONLINE              0          0          0 mirror                                                                          ONLINE              0          0          0 c0t5000CCA214C8756Ed0                                        ONLINE              0          0          0 c0t5000CCA214C85606d0                                        ONLINE              0          0          0 mirror                                                                          ONLINE              0          0          0 c0t5000CCA214C85627d0                                        ONLINE              0          0          0 c0t5000CCA214C85629d0                                        ONLINE              0          0          0 mirror                                                                          ONLINE              0          0          0 c0t5000CCA214C85684d0                                        ONLINE              0          0          0 c0t5000CCA214C86626d0                                        ONLINE              0          0          0 mirror                                                                          ONLINE              0          0          0 RAID10 ZPool c0t5000CCA214C86981d0                                        ONLINE              0          0          0 c0t5000CCA214C86991d0                                        ONLINE              0          0          0 mirror                                                                          ONLINE              0          0          0 c0t5000CCA214C87189d0                                        ONLINE              0          0          0 c0t5000CCA214C87217d0                                        ONLINE              0          0          0 mirror                                                                          ONLINE              0          0          0 c0t5000CCA214C87231d0                                        ONLINE              0          0          0 c0t5000CCA214C87238d0                                        ONLINE              0          0          0 mirror                                                                          ONLINE              0          0          0 c0t5000CCA214C87269d0                                        ONLINE              0          0          0 c0t5000CCA214C87271d0                                        ONLINE              0          0          0 logs                                                                                  ONLINE              0          0          0 c0tATASTECZEUSIOPS018GBYTESSTS000004A38d0    ONLINE              0          0          0 c0tATASTECZEUSIOPS018GBYTESSTS0000086B3d0    ONLINE              0          0          0 spares c0t5000CCA214C87274d0                                            AVAIL c0t5000CCA214C87461d0                                            AVAIL