INHOUDSOPGAVE
Toepassing
Installatie
Netwerk
Sensors
Performance
Energieverbruik en koeling
Remote KVM
Serial over Lan
Nmap, SSH en UPnP
Conclusie
TOEPASSING
Het Supermicro X9SCM-F moederbord in deze review vormt de basis van een viertal nieuwe Linux servers in een datacenter. Hiervoor was ik op zoek naar een serverbord dat voldeed aan de volgende criteria:
- Mogelijkheid tot hergebruik van oud Supermicro chassis (1U 5013C-TB).
- Socket 1155 en geschikt voor de nieuwe Xeon E3-12xx serie processoren
- 2x 1000BASE-TX
- ECC geheugen
- LAN poort voor IPMI beheermogelijkheden, Serial-over-LAN / KVM
Zowel Intel, Tyan, Supermicro en Asus leveren borden die aan het eisenlijstje voldoen, allemaal met de Intel C204 PCH chipset. Alleen bij het Intel moederbord is het nodig om er een aparte module op te steken om een extra LAN poort voor management te verkrijgen.
Vooral de managementmogelijkheden van dit bord krijgen in deze review aandacht. Als ik me al op performance richt (er zitten 2 SATA3 poorten op dit bord), dan gaat het hier over Watt, temperatuur en mogelijkheid tot remote management.
Na het bekijken van fotos van diverse moederborden kwam ik tot de conclusie dat een Supermicro moederbord veruit het handigst is in een gerecycled Supermicro chassis. De aansluitingen voor het frontpanel op het moederbord zijn niet veranderd ten opzichte van het originele moederbord uit 2004, en slechts enkele centimeters verplaatst. Op het oude I/O shield is met 1 eenvoudige ingreep ruimte te maken voor de managementLANpoort.
INSTALLATIE
De 4 moederborden kwamen in retaildozen binnen, elk compleet met 6x SATA kabeltjes voor de 6 SATA poorten op het moederbord, I/O shield, foam, boekje en DVD.
In het oude chassis was plaats voor een ATX bord, dus paste het microATX bord uiteraard prima. Het enige dat vervangen moest worden was de voeding door een 80+ gold exemplaar met 24 pins ATX stekker en een extra 8 pins EPS12V aansluiting. Ook daarvoor heb ik na enig zoekwerk gekozen voor een nieuwe Supermicro voeding.
Verder per server:
- CPU met nieuwe 1U Supermicro koeler voor socket 1155:
- of 1x Intel Xeon E3-1230 3.2 GHz (met vPro)
- of 1x Intel Core i3-2100 3.1 GHz (zonder vPro)
- 2x Kingston 4GB DDR3-1333 ECC.
- 2x Zalman Fanmates 2 om de al aanwezige stroomvretende fans te beteugelen.
NETWERK
Er zitten 2 verschillende NIC's op het bord. Maar Red Hat Enterprise Linux 6.0 waarmee ik installeerde heeft daarvoor geen recente e1000 kernel module. Er is dus maar 1 NIC zichtbaar:
[root@localhost tmp]# lspci |grep Ether |awk -F: '{print $3}'
Intel Corporation 82579LM Gigabit Network Connection (rev 05)
Intel Corporation 82574L Gigabit Network Connection
[root@localhost tmp]# uname -r
2.6.32-71.el6.x86_64
[root@localhost tmp]# mii-tool
eth1: negotiated 100baseTx-FD flow-control, link ok
|
Even kernel updaten dus en we hebben nu 2 NICs:
[root@localhost ~]# uname -r
2.6.32-131.21.1.el6.x86_64
[root@localhost ~]# mii-tool
eth0: no link
eth1: negotiated 100baseTx-FD flow-control, link ok
|
SENSORS
Via IPMI kan je een reeks sensors remote uitlezen, ook als het systeem uitstaat. Dat kan door te surfen naar de managementmodule, IPMIview te gebruiken, of door commandline ipmitool te gebruiken vanaf een andere machine:
mbp:src $ ./ipmitool -H 192.168.0.100 -U ADMIN -I lanplus sdr
Password:
System Temp | 28 degrees C | ok
CPU Temp | 0 unspecified | ok
FAN 1 | disabled | ns
FAN 2 | 2700 RPM | ok
FAN 3 | 2700 RPM | ok
FAN 4 | disabled | ns
FAN A | disabled | ns
Vcore | 0.71 Volts | ok
3.3VCC | 3.41 Volts | ok
12V | 12.14 Volts | ok
VDIMM | 1.53 Volts | ok
5VCC | 5.12 Volts | ok
-12V | -12.45 Volts | ok
VBAT | 3.06 Volts | ok
VSB | 3.34 Volts | ok
AVCC | 3.41 Volts | ok
Chassis Intru | 0 unspecified | ok
PS Status | 0 unspecified | nc
|
Maar wat is er met de CPU temperatuur gebeurd? 0? Unspecified? Na enig zoekwerk blijkt die in een Jip en Janneke index te zijn gevat, bestaande uit Low, Medium, High en Overheat. 0 staat voor Low, 1 voor Medium, 2 voor High en 3 voor Overheat. Geen idee wanneer bijvoorbeeld Low begint en eindigt in graden celcius. Via de IPMI webconsole of de bijgeleverde Supermicro IPMIView utility krijg je dezelfde Low/Normal/High maar geen CPU temperatuur. Zelfs in de BIOS krijg je niet meer te zien dan "Low".
Mocht je de CPU temperatuur vanaf een monitoringsserver met behulp van een handig remote IPMI commando willen checken en loggen dan moet je dus iets omslachtigers verzinnen. Jammer!
Dan maar de good old lm_sensors van stal halen. Met een update naar de meest recente RHEL kernel en de meest recente sensors-detect van
www.lm-sensors.org krijg je:
[root@localhost detect]# ./sensors-detect
# sensors-detect revision 5984 (2011-07-10 21:22:53 +0200)
# System: Supermicro X9SCL/X9SCM
[knip]
Driver `coretemp':
* Chip `Intel digital thermal sensor' (confidence: 9)
[knip]
|
Hoera! We hebben nu temperatuur in graden celcius per core! Met hyperthreading aan zijn dat 8 temperaturen. Voorbeeld op de Xeon E3-1230 machine tijdens cpuload:
[root@localhost ~]# sensors |grep ^Core
Core 0: +71.0C (high = +74.0C, crit = +94.0C)
Core 1: +74.0C (high = +74.0C, crit = +94.0C)
Core 2: +74.0C (high = +74.0C, crit = +94.0C)
Core 3: +72.0C (high = +74.0C, crit = +94.0C)
Core 4: +71.0C (high = +74.0C, crit = +94.0C)
Core 5: +74.0C (high = +74.0C, crit = +94.0C)
Core 6: +74.0C (high = +74.0C, crit = +94.0C)
Core 7: +72.0C (high = +74.0C, crit = +94.0C)
|
PERFORMANCE
Volgens de
OpenMP versie van de Stream benchmark bedraagt de geheugenbandbreedte maximaal 18,8 GByte/sec op het systeem met een Core i3-2100 en 2x 4GB Kingston DDR3-1333 in dual-channel.
De kern van de Stream copy benchmark is in feite een lange for() loop met a[i]=b[i]. Aangenomen dat de code met de nodige optimalisaties is gecompileerd, en de CPU voldoende snel is, levert dit een geheugenbenchmark op.
| Totale geheugenbandbreedte Core i3-2100 systeem (Stream copy, Gbyte/s) |
|---|
| OMP_NUM_THREADS=1 |    16.7 GB/s |
| OMP_NUM_THREADS=2 | 18.8 GB/s |
| OMP_NUM_THREADS=4 | 18.1 GB/s |
Voor het systeem met Xeon E3-1230 is 18.7 Gbyte/sec het maximum:
| Totale geheugenbandbreedte Xeon E3-1230 systeem (Stream copy, Gbyte/s) |
|---|
| OMP_NUM_THREADS=1 |    16.7 GB/s |
| OMP_NUM_THREADS=2 | 18.7 GB/s |
| OMP_NUM_THREADS=4 | 18.4 GB/s |
| OMP_NUM_THREADS=8 | 17.4 GB/s |
ENERGIEVERBRUIK EN KOELING
Het idleverbruik van het systeem met X9SCM-F moederbord, Xeon E3-1230, geheugen, en 80+ gold voeding ligt op 20W. Let op: dat is diskless EN fanless. Je kan dan zelf disks en fans erbij optellen voor een real-life idle verbruik. Bij mij ligt dat met 2 disks en 2 slurpfans (2700 rpm met Fan mates) op 44W. Fans op 4900 rpm en je zit op 52W.
Voor het belasten van CPU en RAM heb ik de 64-bits Linux versie van prime95 gebruikt met inplace FFTs. Energieverbruik heb ik gemeten met een simpele Cresta RCE-1106.
| Energieverbruik (Watt) |
|---|
| Power off |    6 W |
| Core i3-2100, diskless, fanless | 20 W |
| Xeon E3-1230, diskless, fanless | 20 W |
| Core i3-2100, idle | 44 W |
| Xeon E3-1230, idle | 44 W |
| Core i3-2100, mprime load |    82 W |
| Xeon E3-1230, mprime load | 126 W |
Temperatuurtabel bij omgevingstemperatuur van 18 graden:
| Temperatuur (graden Celcius) |
|---|
| Core i3-2100, idle | 26 oC |
| Xeon E3-1230, idle | 24 oC |
| Core i3-2100, mprime load |    56 oC |
| Xeon E3-1230, mprime load | 73 oC |
Remote KVM
Intel is wat mij betreft nogal onduidelijk met informatie over remote KVM en de benodigdheden hiervoor. Uit de Intel site zou je kunnen begrijpen dat je minstens een Xeon E3 12xx, Core i5 of i7 (allen met
vPro "technology") nodig hebt om remote te kunnen KVMmen.
Daarnaast zit er ook nog vPro in de
C204 chipset verstopt. De vraag die dan opkomt: is het of-of of en-en? En hoe zit het dan met de extra netwerk poort? Of heb je alleen maar Active Management Technology (AMT 7.0) nodig?
Confusion
Update: Supermicro heeft een
Novuton WPCM450 BMC in het moederbord geplakt die zorgt voor KVM, SOL, en de rest van de remote management features.
Afijn, door te surfen naar de managementmodule, of de standalone IPMIView tool (alleen Windows en Linux) te gebruiken, kan je remote KVM gebruiken. De managementmodule staat ook aan als het systeem uitstaat, waarmee de 6W bovenstaande stroomverbruik ook gelijk een verklaring krijgt.
Hier een remote KVM sessie met een (non vPro) Core i3-2100:
Sorry nog, server, dat ik beide disks heb losgetrokken om idleverbruik te kunnen meten:
Via de webclient kan je trouwens ook ISO's mounten die op je laptop/PC staan. En dat werkt ook op Mac OS X! Even via de "Virtual Media" feature een DVD ISO mounten die op m'n Macbook staat:
En voila, daarna in de /var/log/messages:
kernel: usb 1-1.1: new high speed USB device using ehci_hcd and address 4
kernel: usb 1-1.1: New USB device found, idVendor=0ea0, idProduct=2222
kernel: usb 1-1.1: New USB device strings: Mfr=0, Product=0, SerialNumber=0
kernel: usb 1-1.1: configuration #1 chosen from 1 choice
kernel: Initializing USB Mass Storage driver...
kernel: scsi6 : SCSI emulation for USB Mass Storage devices
kernel: scsi7 : SCSI emulation for USB Mass Storage devices
kernel: usbcore: registered new interface driver usb-storage
kernel: USB Mass Storage support registered.
kernel: scsi 6:0:0:0: Direct-Access IPMI Virtual Disk 3000 PQ: 0 ANSI: 0 CCS
kernel: scsi 7:0:0:0: CD-ROM IPMI Virtual CDROM 3000 PQ: 0 ANSI: 0 CCS
kernel: scsi 7:0:0:0: Attached scsi generic sg2 type 5
kernel: sd 6:0:0:0: Attached scsi generic sg3 type 0
kernel: sd 6:0:0:0: [sdc] Attached SCSI removable disk
kernel: sr0: scsi3-mmc drive: 40x/40x cd/rw xa/form2 cdda tray |
Daarna /dev/sr0 mounten, en je zit remote in de ISO.
IPMI Firmware update
De IPMI webinterface biedt de mogelijkheid om de firmware te updaten. Een .bin bestand uploaden, klikken en klaar. Lekker makkelijk. (Jammer dat je voor een BIOS update van het moederbord nog steeds moet lopen afzien met floppies, geheime zelfgebakken USB bootsticks of PXE. Erg "nineties")
Mijn ervaring met een firmware update, van v1.08 naar v1.29 voor een tweetal modules, is dat de Java applet voor remote KVM daarna niet meer werkt. Je krijgt nog wel van die Applet "Trust" Y/n en "Allow/Deny" windows, maar daarna blijft het stil zonder KVM schermpje. Halp! Zijn die .jar files op dat kleine IPMI systeempje dan anders? Verbazingwekkend genoeg niet. Werkt het dan nog wel op m'n Windows PC. Ja. Afijn, na wat hoofdbrekens heb ik in de Java Preferences op m'n Mac de temporary files gewist in ~/Library/Caches/Java/cache. En remote KVM deed het weer.
SERIAL OVER LAN
Prachtig dat KVM, maar ik heb zelf liever een lightweight terminal met tekst ipv graphics. Vooral als je onderweg bent met een UMTS dongle werkt dat lekker snel. Je mist dan wel de "virtual media" feature van de grafische KVM tool.
Om serial over LAN te activeren kies je in de BIOS Enable, en stel je wat parameters in zoals bitrate en dergelijke.
Even checken of alle bitrates wel kloppen met het BIOS, en vanaf de testlaptop een SOL sessie opstarten:
mbp:src $ ./ipmitool -H 192.168.0.100 -U ADMIN -I lanplus sol info
Password:
Set in progress : set-complete
Enabled : true
Force Encryption : true
Force Authentication : true
Privilege Level : USER
Character Accumulate Level (ms) : 50
Character Send Threshold : 80
Retry Count : 7
Retry Interval (ms) : 1000
Volatile Bit Rate (kbps) : 115.2
Non-Volatile Bit Rate (kbps) : 115.2
Payload Channel : 1 (0x01)
Payload Port : 623
mbp:src $ ./ipmitool -H 192.168.0.100 -U ADMIN -I lanplus sol activate
Password:
[SOL Session operational. Use ~? for help] |
Na lang proberen bleek Esc+- de toetscombinatie te zijn om in het BIOS te komen:
Jammer dat de standaard Terminal.app van OS X 10.6.8 in de war raakt van het Grub bootloader menu. Na Grub is zowel het booten van de kernel als de inlogprompt niet meer zichtbaar. Stoeien met de Preferences van Terminal.app biedt tot dusver geen soelaas.
iTerm2 heeft duidelijk een sterkere maag:
Het blijkt hier niet nodig om Grub te configureren voor SOL. De enige aanpassing aan grub.conf is het toevoegen van console parameters aan het eind van de kernel regel, zodat je de kernel kan zien booten.
Vergeet ook niet om de splashimage en hiddenmenu te uitcommenten, en de timeout te verhogen:
default=0
timeout=10
#splashimage=(hd0,0)/grub/splash.xpm.gz
#hiddenmenu
title Red Hat Enterprise Linux Server (2.6.32-131.21.1.el6.x86_64)
root (hd0,0)
kernel /vmlinuz-2.6.32-131.21.1.el6.x86_64 [knip] console=tty0 console=ttyS2,115200n8
initrd /initramfs-2.6.32-131.21.1.el6.x86_64.img |
Overigens is de volgorde van de twee console= parameters in bovenstaande kernel regel belangrijk. ttyS2 moet hier als laatste staan, anders krijg je geen agetty op ttyS2 en kan je niet inloggen via SOL. (Omdat RHEL6 tegenwoordig Upstart gebruikt hoef je geen regel in /etc/inittab meer aan te maken voor een agetty op /dev/ttyS2, maar wordt die automatisch opgestart met de informatie uit de kernel bootregel, gegeven de juiste volgorde)
Contact via SOL met de Core i3-2100 machine:
NMAP EN SSH
Een nmap scan van het management IP op UDP poorten:
mbp:~ $ sudo nmap -sU -Pn -S 192.168.0.99 192.168.0.100
Password:
Starting Nmap 5.51 ( http://nmap.org ) at 2011-12-27 22:10 CET
Nmap scan report for 192.168.0.100
Host is up (0.0031s latency).
Not shown: 998 closed ports
PORT STATE SERVICE
623/udp open|filtered asf-rmcp
1900/udp open|filtered upnp
Nmap done: 1 IP address (1 host up) scanned in 1097.33 seconds |
En op TCP poorten:
mbp:~ $ nmap -sT -p1-65535 192.168.0.100
Starting Nmap 5.51 ( http://nmap.org ) at 2011-12-28 12:27 CET
Nmap scan report for 192.168.0.100
Host is up (0.0025s latency).
Not shown: 65528 closed ports
PORT STATE SERVICE
22/tcp open ssh
80/tcp open http
443/tcp open https
623/tcp open oob-ws-http
5900/tcp open vnc
8889/tcp open ddi-tcp-2
49152/tcp open unknown
Nmap done: 1 IP address (1 host up) scanned in 33.99 seconds
|
22/tcp
Hee SSH, wat grappig!
mbp:~ $ ssh -C ADMIN@192.168.0.100
ADMIN@192.168.0.100's password:
ATEN SMASH-CLP System Management Shell, version 1.02
Copyright (c) 2008-2009 by ATEN International CO., Ltd.
All Rights Reserved
-> help
/
The managed element is the root
Verbs :
cd
show
help
version
exit
|
Show blijkt een soort gecombineerde ls en cat te zijn, afhankelijk waarop je 'm loslaat.
In de root geeft show "system1" weer, waarnaartoe je kan cd-en, daarin staat (o.a.) sensors1. Daarin staat (o.a.) sensors001 die je kan showen:
-> cd system1/sensors1
/system1/sensors1
-> show sensor001
/system1/sensors1/sensor001
Targets :
none
Properties :
Name=CIM_Sensor
DeviceID=1.18.0.32.70.0
CreationClassName=Discrete_Sensor
SystemName=IPMI BMC
SystemCreationClassName=ATEN_ComputerSystem
Description=CPU Temp (18.0.32):OEM DISCRETE for 3 1
Caption=OEM DISCRETE(18.0.32)
RequestedState=12
EnabledDefault=2
SensorType=99
OtherSensorTypeDescription=OEM
CurrentState=Lower Non-recoverable - going low
=
*** glibc detected *** double free or corruption (out): 0x401358b0 ***
Verbs :
show
help
version
exit
->
|
Pardon? *** glibc detected *** double free or corruption (out): 0x401358b0 ***
Nu weet ik zeker dat ik het management LAN fysiek gescheiden wil houden van de rest!
Je kan ook een echte shell krijgen op die BMC met "shell sh":
mbp:~ $
$ ssh -C ADMIN@192.168.0.100
ADMIN@192.168.0.100's password:
ATEN SMASH-CLP System Management Shell, version 1.02
Copyright (c) 2008-2009 by ATEN International CO., Ltd.
All Rights Reserved
-> shell sh
Change shell to sh
# ls -l
drwxrwxrwx 1 1000 0 20 Jan 1 1970 SFCB
drwxrwxrwx 1 1000 0 228 Jan 1 1970 SMASH
drwxr-xr-x 1 1000 0 1968 Jan 1 1970 bin
drwxr-xr-x 1 root 0 1512 Jan 1 1970 dev
drwxr-xr-x 1 1000 0 32 Jan 1 1970 dropbear
drwxr-xr-x 1 root 0 416 Jan 1 1970 etc
drwxrwxrwx 1 1000 0 3272 Jan 1 1970 lib
lrwxrwxrwx 1 root 0 11 Jan 1 1970 linuxrc -> bin/busybox
drwx------ 1 root 0 0 Jan 1 1970 lost+found
drwxr-xr-x 8 root 0 0 Jan 1 1970 nv
dr-xr-xr-x 109 root 0 0 Jan 1 1970 proc
drwxr-xr-x 1 1000 0 608 Jan 1 1970 sbin
drwxr-xr-x 10 root 0 0 Jan 1 1970 sys
drwxrwxrwt 5 root 0 340 Dec 28 12:06 tmp
drwxr-xr-x 1 1000 0 72 Jan 1 1970 usr
drwxr-xr-x 1 root 0 32 Jan 1 1970 var
drwxr-xr-x 1 root 0 496 Jan 1 1970 web
drwxrwxrwx 1 root 0 24 Jan 1 1970 wsman
# uname -a
Linux (none) 2.6.17.WB_WPCM450.1.3 #3 Thu Sep 29 19:43:58 PDT 2011 armv5tejl unknown
# gcc
sh: gcc: not found
# netstat -l
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State
tcp 0 0 0.0.0.0:49152 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:8889 0.0.0.0:* LISTEN
tcp 0 0 ::%200:5900 ::%1270808:* LISTEN
tcp 0 0 ::%200:623 ::%1270808:* LISTEN
tcp 0 0 ::%200:80 ::%1270808:* LISTEN
tcp 0 0 ::%200:22 ::%1270808:* LISTEN
tcp 0 0 ::%200:443 ::%1270808:* LISTEN
udp 0 0 127.0.0.1:2048 0.0.0.0:*
udp 0 0 0.0.0.0:1900 0.0.0.0:*
udp 0 0 0.0.0.0:623 0.0.0.0:*
Active UNIX domain sockets (only servers)
Proto RefCnt Flags Type State I-Node Path
unix 2 [ ACC ] STREAM LISTENING 1138 /tmp/sfcbLocalSocket
unix 2 [ ACC ] STREAM LISTENING 911 /tmp/.sol
unix 2 [ ACC ] STREAM LISTENING 928 /tmp/.serial
#
|
49152/tcp
Zou er misschien een webserver draaien op die rare poort? Eens kijken:
mbp:~ $ telnet 192.168.0.100 49152
Trying 192.168.0.100...
Connected to 192.168.0.100.
Escape character is '^]'.
GET /system1/sensors1/sensor001 HTTP/1.0
HTTP/1.0 404 Not Found
SERVER: Linux/2.6.17.WB_WPCM450.1.3, UPnP/1.0, Intel SDK for UPnP devices/1.3.1
CONTENT-LENGTH: 48
CONTENT-TYPE: text/html
<html><body><h1>404 Not Found</h1></body></html>Connection closed by foreign host.
|
Bijna. Een
Linux IGD uPnP server (laatste update begin 2007) met
libupnp 1.3.1 (laaste update medio 2006). Dat gescheiden management LAN wordt steeds relevanter...
CONCLUSIE
Een praktisch moederbord met erg fijne managementfeatures voor servertoepassingen. De tijden dat je een Cyclades terminal server nodig had en een APC PDU om lekker te kunnen slapen, herinneren aan grootmoeders appeltaart en andere langvervlogen tijden.
Gebruikt in combinatie met:
:fill(white):strip_exif()/i/1297268630.jpeg?f=thumbsmall)
/u/64410/killer2-200x300.JPG?f=community){kind=small}
/u/31831/crop55d04481a9771.png?f=community){kind=small}
:strip_icc():strip_exif()/u/26770/crop579890778b812_cropped.jpeg?f=community){kind=small}
:strip_icc():strip_exif()/u/279104/avatar%2520tweakers%25202.jpg?f=community){kind=avatar}
/u/102334/avatar_mini.png?f=community){kind=avatar}
/u/147206/crop5a8968427214a.png?f=community){kind=small}
