Supermicro X9SCM-F

INHOUDSOPGAVE

Toepassing
Installatie
Netwerk
Sensors
Performance
Energieverbruik en koeling
Remote KVM
Serial over Lan
Nmap, SSH en UPnP
Conclusie

TOEPASSING

Het Supermicro X9SCM-F moederbord in deze review vormt de basis van een viertal nieuwe Linux servers in een datacenter. Hiervoor was ik op zoek naar een serverbord dat voldeed aan de volgende criteria:

1. Mogelijkheid tot hergebruik van oud Supermicro chassis (1U 5013C-TB).
2. Socket 1155 en geschikt voor de nieuwe Xeon E3-12xx serie processoren
3. 2x 1000BASE-TX
4. ECC geheugen
5. LAN poort voor IPMI beheermogelijkheden, Serial-over-LAN / KVM

Zowel Intel, Tyan, Supermicro en Asus leveren borden die aan het eisenlijstje voldoen, allemaal met de Intel C204 PCH chipset. Alleen bij het Intel moederbord is het nodig om er een aparte module op te steken om een extra LAN poort voor management te verkrijgen.

Vooral de managementmogelijkheden van dit bord krijgen in deze review aandacht. Als ik me al op performance richt (er zitten 2 SATA3 poorten op dit bord), dan gaat het hier over Watt, temperatuur en mogelijkheid tot remote management.

Na het bekijken van fotos van diverse moederborden kwam ik tot de conclusie dat een Supermicro moederbord veruit het handigst is in een gerecycled Supermicro chassis. De aansluitingen voor het frontpanel op het moederbord zijn niet veranderd ten opzichte van het originele moederbord uit 2004, en slechts enkele centimeters verplaatst. Op het oude I/O shield is met 1 eenvoudige ingreep ruimte te maken voor de managementLANpoort.

INSTALLATIE

De 4 moederborden kwamen in retaildozen binnen, elk compleet met 6x SATA kabeltjes voor de 6 SATA poorten op het moederbord, I/O shield, foam, boekje en DVD.

In het oude chassis was plaats voor een ATX bord, dus paste het microATX bord uiteraard prima. Het enige dat vervangen moest worden was de voeding door een 80+ gold exemplaar met 24 pins ATX stekker en een extra 8 pins EPS12V aansluiting. Ook daarvoor heb ik na enig zoekwerk gekozen voor een nieuwe Supermicro voeding.

Verder per server:

• CPU met nieuwe 1U Supermicro koeler voor socket 1155:
  • of 1x Intel Xeon E3-1230 3.2 GHz (met vPro)
  • of 1x Intel Core i3-2100 3.1 GHz (zonder vPro)
• 2x Kingston 4GB DDR3-1333 ECC.
• 2x Zalman Fanmates 2 om de al aanwezige stroomvretende fans te beteugelen.

NETWERK

Er zitten 2 verschillende NIC's op het bord. Maar Red Hat Enterprise Linux 6.0 waarmee ik installeerde heeft daarvoor geen recente e1000 kernel module. Er is dus maar 1 NIC zichtbaar:

[root@localhost tmp]# lspci |grep Ether |awk -F: '{print $3}' Intel Corporation 82579LM Gigabit Network Connection (rev 05) Intel Corporation 82574L Gigabit Network Connection [root@localhost tmp]# uname -r 2.6.32-71.el6.x86_64 [root@localhost tmp]# mii-tool eth1: negotiated 100baseTx-FD flow-control, link ok

Even kernel updaten dus en we hebben nu 2 NICs:

[root@localhost ~]# uname -r 2.6.32-131.21.1.el6.x86_64 [root@localhost ~]# mii-tool eth0: no link eth1: negotiated 100baseTx-FD flow-control, link ok

SENSORS

Via IPMI kan je een reeks sensors remote uitlezen, ook als het systeem uitstaat. Dat kan door te surfen naar de managementmodule, IPMIview te gebruiken, of door commandline ipmitool te gebruiken vanaf een andere machine:

mbp:src $ ./ipmitool -H 192.168.0.100 -U ADMIN -I lanplus sdr Password: System Temp | 28 degrees C | ok CPU Temp | 0 unspecified | ok FAN 1 | disabled | ns FAN 2 | 2700 RPM | ok FAN 3 | 2700 RPM | ok FAN 4 | disabled | ns FAN A | disabled | ns Vcore | 0.71 Volts | ok 3.3VCC | 3.41 Volts | ok 12V | 12.14 Volts | ok VDIMM | 1.53 Volts | ok 5VCC | 5.12 Volts | ok -12V | -12.45 Volts | ok VBAT | 3.06 Volts | ok VSB | 3.34 Volts | ok AVCC | 3.41 Volts | ok Chassis Intru | 0 unspecified | ok PS Status | 0 unspecified | nc

Maar wat is er met de CPU temperatuur gebeurd? 0? Unspecified? Na enig zoekwerk blijkt die in een Jip en Janneke index te zijn gevat, bestaande uit Low, Medium, High en Overheat. 0 staat voor Low, 1 voor Medium, 2 voor High en 3 voor Overheat. Geen idee wanneer bijvoorbeeld Low begint en eindigt in graden celcius. Via de IPMI webconsole of de bijgeleverde Supermicro IPMIView utility krijg je dezelfde Low/Normal/High maar geen CPU temperatuur. Zelfs in de BIOS krijg je niet meer te zien dan "Low".

Mocht je de CPU temperatuur vanaf een monitoringsserver met behulp van een handig remote IPMI commando willen checken en loggen dan moet je dus iets omslachtigers verzinnen. Jammer!

Dan maar de good old lm_sensors van stal halen. Met een update naar de meest recente RHEL kernel en de meest recente sensors-detect van www.lm-sensors.org krijg je:

[root@localhost detect]# ./sensors-detect # sensors-detect revision 5984 (2011-07-10 21:22:53 +0200) # System: Supermicro X9SCL/X9SCM [knip] Driver `coretemp': * Chip `Intel digital thermal sensor' (confidence: 9) [knip]

Hoera! We hebben nu temperatuur in graden celcius per core! Met hyperthreading aan zijn dat 8 temperaturen. Voorbeeld op de Xeon E3-1230 machine tijdens cpuload:

[root@localhost ~]# sensors |grep ^Core Core 0: +71.0C (high = +74.0C, crit = +94.0C) Core 1: +74.0C (high = +74.0C, crit = +94.0C) Core 2: +74.0C (high = +74.0C, crit = +94.0C) Core 3: +72.0C (high = +74.0C, crit = +94.0C) Core 4: +71.0C (high = +74.0C, crit = +94.0C) Core 5: +74.0C (high = +74.0C, crit = +94.0C) Core 6: +74.0C (high = +74.0C, crit = +94.0C) Core 7: +72.0C (high = +74.0C, crit = +94.0C)

PERFORMANCE

Volgens de OpenMP versie van de Stream benchmark bedraagt de geheugenbandbreedte maximaal 18,8 GByte/sec op het systeem met een Core i3-2100 en 2x 4GB Kingston DDR3-1333 in dual-channel.

De kern van de Stream copy benchmark is in feite een lange for() loop met a[i]=b[i]. Aangenomen dat de code met de nodige optimalisaties is gecompileerd, en de CPU voldoende snel is, levert dit een geheugenbenchmark op.

Totale geheugenbandbreedte Core i3-2100 systeem (Stream copy, Gbyte/s)
OMP_NUM_THREADS=1	16.7 GB/s
OMP_NUM_THREADS=2	18.8 GB/s
OMP_NUM_THREADS=4	18.1 GB/s

Voor het systeem met Xeon E3-1230 is 18.7 Gbyte/sec het maximum:

Totale geheugenbandbreedte Xeon E3-1230 systeem (Stream copy, Gbyte/s)
OMP_NUM_THREADS=1	16.7 GB/s
OMP_NUM_THREADS=2	18.7 GB/s
OMP_NUM_THREADS=4	18.4 GB/s
OMP_NUM_THREADS=8	17.4 GB/s

ENERGIEVERBRUIK EN KOELING

Het idleverbruik van het systeem met X9SCM-F moederbord, Xeon E3-1230, geheugen, en 80+ gold voeding ligt op 20W. Let op: dat is diskless EN fanless. Je kan dan zelf disks en fans erbij optellen voor een real-life idle verbruik. Bij mij ligt dat met 2 disks en 2 slurpfans (2700 rpm met Fan mates) op 44W. Fans op 4900 rpm en je zit op 52W.

Voor het belasten van CPU en RAM heb ik de 64-bits Linux versie van prime95 gebruikt met inplace FFTs. Energieverbruik heb ik gemeten met een simpele Cresta RCE-1106.

Energieverbruik (Watt)
Power off	6 W
Core i3-2100, diskless, fanless	20 W
Xeon E3-1230, diskless, fanless	20 W
Core i3-2100, idle	44 W
Xeon E3-1230, idle	44 W
Core i3-2100, mprime load	82 W
Xeon E3-1230, mprime load	126 W

Temperatuurtabel bij omgevingstemperatuur van 18 graden:

Temperatuur (graden Celcius)
Core i3-2100, idle	26 oC
Xeon E3-1230, idle	24 oC
Core i3-2100, mprime load	56 oC
Xeon E3-1230, mprime load	73 oC

Remote KVM

Intel is wat mij betreft nogal onduidelijk met informatie over remote KVM en de benodigdheden hiervoor. Uit de Intel site zou je kunnen begrijpen dat je minstens een Xeon E3 12xx, Core i5 of i7 (allen met vPro "technology") nodig hebt om remote te kunnen KVMmen.

Daarnaast zit er ook nog vPro in de C204 chipset verstopt. De vraag die dan opkomt: is het of-of of en-en? En hoe zit het dan met de extra netwerk poort? Of heb je alleen maar Active Management Technology (AMT 7.0) nodig? Confusion

Update: Supermicro heeft een Novuton WPCM450 BMC in het moederbord geplakt die zorgt voor KVM, SOL, en de rest van de remote management features.

Afijn, door te surfen naar de managementmodule, of de standalone IPMIView tool (alleen Windows en Linux) te gebruiken, kan je remote KVM gebruiken. De managementmodule staat ook aan als het systeem uitstaat, waarmee de 6W bovenstaande stroomverbruik ook gelijk een verklaring krijgt.

Hier een remote KVM sessie met een (non vPro) Core i3-2100:


Sorry nog, server, dat ik beide disks heb losgetrokken om idleverbruik te kunnen meten:


Via de webclient kan je trouwens ook ISO's mounten die op je laptop/PC staan. En dat werkt ook op Mac OS X! Even via de "Virtual Media" feature een DVD ISO mounten die op m'n Macbook staat:


En voila, daarna in de /var/log/messages:

kernel: usb 1-1.1: new high speed USB device using ehci_hcd and address 4 kernel: usb 1-1.1: New USB device found, idVendor=0ea0, idProduct=2222 kernel: usb 1-1.1: New USB device strings: Mfr=0, Product=0, SerialNumber=0 kernel: usb 1-1.1: configuration #1 chosen from 1 choice kernel: Initializing USB Mass Storage driver... kernel: scsi6 : SCSI emulation for USB Mass Storage devices kernel: scsi7 : SCSI emulation for USB Mass Storage devices kernel: usbcore: registered new interface driver usb-storage kernel: USB Mass Storage support registered. kernel: scsi 6:0:0:0: Direct-Access IPMI Virtual Disk 3000 PQ: 0 ANSI: 0 CCS kernel: scsi 7:0:0:0: CD-ROM IPMI Virtual CDROM 3000 PQ: 0 ANSI: 0 CCS kernel: scsi 7:0:0:0: Attached scsi generic sg2 type 5 kernel: sd 6:0:0:0: Attached scsi generic sg3 type 0 kernel: sd 6:0:0:0: [sdc] Attached SCSI removable disk kernel: sr0: scsi3-mmc drive: 40x/40x cd/rw xa/form2 cdda tray

Daarna /dev/sr0 mounten, en je zit remote in de ISO.

IPMI Firmware update

De IPMI webinterface biedt de mogelijkheid om de firmware te updaten. Een .bin bestand uploaden, klikken en klaar. Lekker makkelijk. (Jammer dat je voor een BIOS update van het moederbord nog steeds moet lopen afzien met floppies, geheime zelfgebakken USB bootsticks of PXE. Erg "nineties")

Mijn ervaring met een firmware update, van v1.08 naar v1.29 voor een tweetal modules, is dat de Java applet voor remote KVM daarna niet meer werkt. Je krijgt nog wel van die Applet "Trust" Y/n en "Allow/Deny" windows, maar daarna blijft het stil zonder KVM schermpje. Halp! Zijn die .jar files op dat kleine IPMI systeempje dan anders? Verbazingwekkend genoeg niet. Werkt het dan nog wel op m'n Windows PC. Ja. Afijn, na wat hoofdbrekens heb ik in de Java Preferences op m'n Mac de temporary files gewist in ~/Library/Caches/Java/cache. En remote KVM deed het weer.

SERIAL OVER LAN

Prachtig dat KVM, maar ik heb zelf liever een lightweight terminal met tekst ipv graphics. Vooral als je onderweg bent met een UMTS dongle werkt dat lekker snel. Je mist dan wel de "virtual media" feature van de grafische KVM tool.

Om serial over LAN te activeren kies je in de BIOS Enable, en stel je wat parameters in zoals bitrate en dergelijke.

Even checken of alle bitrates wel kloppen met het BIOS, en vanaf de testlaptop een SOL sessie opstarten:

mbp:src $ ./ipmitool -H 192.168.0.100 -U ADMIN -I lanplus sol info Password: Set in progress : set-complete Enabled : true Force Encryption : true Force Authentication : true Privilege Level : USER Character Accumulate Level (ms) : 50 Character Send Threshold : 80 Retry Count : 7 Retry Interval (ms) : 1000 Volatile Bit Rate (kbps) : 115.2 Non-Volatile Bit Rate (kbps) : 115.2 Payload Channel : 1 (0x01) Payload Port : 623 mbp:src $ ./ipmitool -H 192.168.0.100 -U ADMIN -I lanplus sol activate Password: [SOL Session operational. Use ~? for help]

Na lang proberen bleek Esc+- de toetscombinatie te zijn om in het BIOS te komen:


Jammer dat de standaard Terminal.app van OS X 10.6.8 in de war raakt van het Grub bootloader menu. Na Grub is zowel het booten van de kernel als de inlogprompt niet meer zichtbaar. Stoeien met de Preferences van Terminal.app biedt tot dusver geen soelaas.


iTerm2 heeft duidelijk een sterkere maag:


Het blijkt hier niet nodig om Grub te configureren voor SOL. De enige aanpassing aan grub.conf is het toevoegen van console parameters aan het eind van de kernel regel, zodat je de kernel kan zien booten.
Vergeet ook niet om de splashimage en hiddenmenu te uitcommenten, en de timeout te verhogen:

default=0 timeout=10 #splashimage=(hd0,0)/grub/splash.xpm.gz #hiddenmenu title Red Hat Enterprise Linux Server (2.6.32-131.21.1.el6.x86_64) root (hd0,0) kernel /vmlinuz-2.6.32-131.21.1.el6.x86_64 [knip] console=tty0 console=ttyS2,115200n8 initrd /initramfs-2.6.32-131.21.1.el6.x86_64.img

Overigens is de volgorde van de twee console= parameters in bovenstaande kernel regel belangrijk. ttyS2 moet hier als laatste staan, anders krijg je geen agetty op ttyS2 en kan je niet inloggen via SOL. (Omdat RHEL6 tegenwoordig Upstart gebruikt hoef je geen regel in /etc/inittab meer aan te maken voor een agetty op /dev/ttyS2, maar wordt die automatisch opgestart met de informatie uit de kernel bootregel, gegeven de juiste volgorde)

Contact via SOL met de Core i3-2100 machine:


NMAP EN SSH

Een nmap scan van het management IP op UDP poorten:

mbp:~ $ sudo nmap -sU -Pn -S 192.168.0.99 192.168.0.100 Password: Starting Nmap 5.51 ( http://nmap.org ) at 2011-12-27 22:10 CET Nmap scan report for 192.168.0.100 Host is up (0.0031s latency). Not shown: 998 closed ports PORT STATE SERVICE 623/udp open|filtered asf-rmcp 1900/udp open|filtered upnp Nmap done: 1 IP address (1 host up) scanned in 1097.33 seconds

En op TCP poorten:

mbp:~ $ nmap -sT -p1-65535 192.168.0.100 Starting Nmap 5.51 ( http://nmap.org ) at 2011-12-28 12:27 CET Nmap scan report for 192.168.0.100 Host is up (0.0025s latency). Not shown: 65528 closed ports PORT STATE SERVICE 22/tcp open ssh 80/tcp open http 443/tcp open https 623/tcp open oob-ws-http 5900/tcp open vnc 8889/tcp open ddi-tcp-2 49152/tcp open unknown Nmap done: 1 IP address (1 host up) scanned in 33.99 seconds

22/tcp

Hee SSH, wat grappig!

mbp:~ $ ssh -C ADMIN@192.168.0.100 ADMIN@192.168.0.100's password: ATEN SMASH-CLP System Management Shell, version 1.02 Copyright (c) 2008-2009 by ATEN International CO., Ltd. All Rights Reserved -> help / The managed element is the root Verbs : cd show help version exit

Show blijkt een soort gecombineerde ls en cat te zijn, afhankelijk waarop je 'm loslaat.
In de root geeft show "system1" weer, waarnaartoe je kan cd-en, daarin staat (o.a.) sensors1. Daarin staat (o.a.) sensors001 die je kan showen:

-> cd system1/sensors1 /system1/sensors1 -> show sensor001 /system1/sensors1/sensor001 Targets : none Properties : Name=CIM_Sensor DeviceID=1.18.0.32.70.0 CreationClassName=Discrete_Sensor SystemName=IPMI BMC SystemCreationClassName=ATEN_ComputerSystem Description=CPU Temp (18.0.32):OEM DISCRETE for 3 1 Caption=OEM DISCRETE(18.0.32) RequestedState=12 EnabledDefault=2 SensorType=99 OtherSensorTypeDescription=OEM CurrentState=Lower Non-recoverable - going low = *** glibc detected *** double free or corruption (out): 0x401358b0 *** Verbs : show help version exit ->

Pardon? *** glibc detected *** double free or corruption (out): 0x401358b0 ***
Nu weet ik zeker dat ik het management LAN fysiek gescheiden wil houden van de rest!

Je kan ook een echte shell krijgen op die BMC met "shell sh":

mbp:~ $ $ ssh -C ADMIN@192.168.0.100 ADMIN@192.168.0.100's password: ATEN SMASH-CLP System Management Shell, version 1.02 Copyright (c) 2008-2009 by ATEN International CO., Ltd. All Rights Reserved -> shell sh Change shell to sh # ls -l drwxrwxrwx 1 1000 0 20 Jan 1 1970 SFCB drwxrwxrwx 1 1000 0 228 Jan 1 1970 SMASH drwxr-xr-x 1 1000 0 1968 Jan 1 1970 bin drwxr-xr-x 1 root 0 1512 Jan 1 1970 dev drwxr-xr-x 1 1000 0 32 Jan 1 1970 dropbear drwxr-xr-x 1 root 0 416 Jan 1 1970 etc drwxrwxrwx 1 1000 0 3272 Jan 1 1970 lib lrwxrwxrwx 1 root 0 11 Jan 1 1970 linuxrc -> bin/busybox drwx------ 1 root 0 0 Jan 1 1970 lost+found drwxr-xr-x 8 root 0 0 Jan 1 1970 nv dr-xr-xr-x 109 root 0 0 Jan 1 1970 proc drwxr-xr-x 1 1000 0 608 Jan 1 1970 sbin drwxr-xr-x 10 root 0 0 Jan 1 1970 sys drwxrwxrwt 5 root 0 340 Dec 28 12:06 tmp drwxr-xr-x 1 1000 0 72 Jan 1 1970 usr drwxr-xr-x 1 root 0 32 Jan 1 1970 var drwxr-xr-x 1 root 0 496 Jan 1 1970 web drwxrwxrwx 1 root 0 24 Jan 1 1970 wsman # uname -a Linux (none) 2.6.17.WB_WPCM450.1.3 #3 Thu Sep 29 19:43:58 PDT 2011 armv5tejl unknown # gcc sh: gcc: not found # netstat -l Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State tcp 0 0 0.0.0.0:49152 0.0.0.0:* LISTEN tcp 0 0 0.0.0.0:8889 0.0.0.0:* LISTEN tcp 0 0 ::%200:5900 ::%1270808:* LISTEN tcp 0 0 ::%200:623 ::%1270808:* LISTEN tcp 0 0 ::%200:80 ::%1270808:* LISTEN tcp 0 0 ::%200:22 ::%1270808:* LISTEN tcp 0 0 ::%200:443 ::%1270808:* LISTEN udp 0 0 127.0.0.1:2048 0.0.0.0:* udp 0 0 0.0.0.0:1900 0.0.0.0:* udp 0 0 0.0.0.0:623 0.0.0.0:* Active UNIX domain sockets (only servers) Proto RefCnt Flags Type State I-Node Path unix 2 [ ACC ] STREAM LISTENING 1138 /tmp/sfcbLocalSocket unix 2 [ ACC ] STREAM LISTENING 911 /tmp/.sol unix 2 [ ACC ] STREAM LISTENING 928 /tmp/.serial #

49152/tcp

Zou er misschien een webserver draaien op die rare poort? Eens kijken:

mbp:~ $ telnet 192.168.0.100 49152 Trying 192.168.0.100... Connected to 192.168.0.100. Escape character is '^]'. GET /system1/sensors1/sensor001 HTTP/1.0 HTTP/1.0 404 Not Found SERVER: Linux/2.6.17.WB_WPCM450.1.3, UPnP/1.0, Intel SDK for UPnP devices/1.3.1 CONTENT-LENGTH: 48 CONTENT-TYPE: text/html <html><body><h1>404 Not Found</h1></body></html>Connection closed by foreign host.

Bijna. Een Linux IGD uPnP server (laatste update begin 2007) met libupnp 1.3.1 (laaste update medio 2006). Dat gescheiden management LAN wordt steeds relevanter...

CONCLUSIE

Een praktisch moederbord met erg fijne managementfeatures voor servertoepassingen. De tijden dat je een Cyclades terminal server nodig had en een APC PDU om lekker te kunnen slapen, herinneren aan grootmoeders appeltaart en andere langvervlogen tijden.