DreamHack Summer 2010 verslag
Twee weken geleden had ik voor het eerst de tijd om met Pack4DreamHack mee te gaan naar DreamHack in Zweden, ik kon al een paar keer eerder mee met de groep naar Zweden, maar steeds waren de data erg ongelukkig voor mij.. Deze keer kwamen er 3 dagen voor vertrek nog een paar plaatsen vrij en had ik zowaar ook tijd, dus deze keer konden Lieneke en ik dus eindelijk mee naar DreamHack. Zoals een deel van jullie wel zal weten ben ik al 8 jaar een van de organisatoren van The Party, heb ik een stuk of 8 eigen lans gehouden en ben ik zijdelings betrokken bij CampZone, voor mij is het dus echt een bezoek naar het ultieme evenement in zijn soort 
.
Met ergens tussen de zeven en acht duizend bezoekers in de zomer en omstreeks dertienduizend bezoekers in de winter is DreamHack met grote voorsprong het grootste evenement in zijn soort. De organisatie wijst er overigens terecht op dat het meer een festival is dan een lanparty. Waarom dat zo is leg ik zo nog uit. Een extreem evenement als dit brengt ook vele extremen met zich mee, een paar punten:
• DreamHack is in Jönköping onderscheiden voor de positieve impact op de lokale economie
• In de winter heeft DreamHack 50 Gigabit internet, dat is 51.200 Mbit, dat is meer dan 2500 20 Mbit ADSL verbindingen samen aan capaciteit zouden hebben
• Ieder systeem op de lan krijgt een ipv4 en een ipv6 internet adres (er is dus eigenlijk geen sprake van een lan)
De heenreis
Op vrijdag middag rond 16.30 uur vertrekt de bus vanuit Nieuwegein naar Jönköping Zweden, voor het zover is heeft de bus ook in Venlo al een stop gemaakt, dat is voor mij niet echt in de buurt, dus vandaar dat ik op stap in Nieuwegein. Het kost wat moeite om alles netjes in de bus te krijgen maar als dat eenmaal gelukt is kunnen we na een groepsfoto door naar Enschede om daar de laatste 3 mensen op te halen, hier maken we meteen gebruik van de gelegenheid om even te eten zodat we daarna goed door kunnen rijden. Alhoewel we meer dan voldoende ruimte hadden in de bus blijven busreizen helemaal niets voor mij, maar dat is meer een persoonlijk iets..
Na 45 minuten op de boot te hebben gezeten hadden we de overtocht gemaakt van Duitsland naar Denemarken, vanaf hier zijn we nog via de brug naar Zweden gereden om daar in een heel ander landschap verder te rijden. Het meest opvallende aan het landschap in zweden is dat het wel lijkt alsof het gehele land één groot bos is, afgewisseld met hier een daar een weide, maar verder eigenlijk zo goed als niets.. Omstreeks 8.00 uur komen we dan na een (in mijn ogen) veel te lange busreis aan bij de Elmia hallen in Jönköping, het is er al redelijk druk met mensen die spullen naar binnen aan het brengen zijn, gelukkig hadden we vooraf doorgegeven hoe laat we er zouden zijn zodat we zonder al te lang wachten door konden lopen en aan konden melden..
Het festival
Het eerste dat opvalt als je de hal binnen komt is de omvang van het geheel, de Elmia hallen hebben ongeveer de omvang van de Jaarbeurs in Utrecht, waarvan in de zomer editie 2 hallen in gebruik zijn voor de lan en 1 hal als slaapruimte. Waar we in Nederland vooral veel luxe zien op de lans (ik hoor jullie al denken dat dat wat tegen valt, maar na een bezoek je DreamHack zie je dat anders) maar in Zweden hebben ze dat wat anders aangepakt. Alhoewel alles op zich wel van goede kwaliteit is hebben ze vooral voor gemak gekozen als het om de tafels gaat. De tafels zijn gemaakt van europallets die op zijn kan staan met daarop een spaanplaat, meer is het niet, daarbij krijg je dan een klapstoel die eigenlijk te laag is.. Met wat creativiteit weet je echter je stoel wel weer op te hogen, en de rest van het weekend ben je zo weinig op je plaats dat je er eigenlijk niet noemenswaardig last van hebt. Het is overigens geen probleem om een eigen stoel mee te nemen (wel in de bus, maar de meeste locals hebben wel een eigen stoel bij).
Een van de meest bijzondere dingen aan DreamHack is dat het zo veel meer is dan een normale lan, er zijn doorlopend andere activiteiten die je anders niet zo snel tegen zal komen op een dergelijk evenement. Een deel van deze activiteiten vinden plaats op het mainstage, en dat podium is ook weer een verhaal apart. in hal D is aan het uiteinde van de zaal een groot podium gebouwd, samen met een enorme geluidsinstallatie en grote hoeveelheid verlichting (tot aan een complete lasershow toe). De gebeurtenissen op dit podium zijn over de hele lan op grote schermen te volgen, alhoewel er in alle hallen geluid bij zit heb je in de hal met het podium tijdens een DJ set het gevoel dat je in een grote discotheek staat. En dat is meteen ook weer een erg groot verschil met de Nederlandse evenementen, op DreamHack is het nooit stil, altijd komt er wel ergens muziek of geluid vandaan, koptelefoons zijn geen verplichting en zeer regelmatig wordt het volume van de shows in alle zalen stevig opgevoerd..
Opvallend is ook de opbouw van het netwerk, door de gekozen oplossing kan er eigenlijk niet meer gesproken worden over een lan. Op dreamhack maak je eigenlijk deel uit van het internet, ieder aanwezig systeem krijgt een ipv4 en een ipv6 internet adres, en alleen op je eigen switch is er eigenlijk nog enigszins sprake van een lan, al het andere gaat via de backbone router en strikt gezien dus eigenlijk via het internet. Dit heeft wel een aantal gevolgen voor het normale lannen zoals wij dat kennen, het zoeken naar lan servers in een spel heeft dus eigenlijk geen zin, enkel de servers die op jouw tafelswitch zitten worden gevonden. Als je dus tegen andere mensen op DreamHack wil spelen zal je dat via internet servers moeten doen, het voordeel hieraan is dat het internet snel genoeg is om gewoon internet servers te gebruiken, je hebt dus altijd mensen om tegen te spelen. Nadeel is wel dat je een deel van het "lan" gevoel kwijt raakt op deze manier. Terugkomend op het netwerk, er wordt gebruik gemaakt van een drie lagen model waarbij de tafelswitches van Zyxel of Cisco zijn, deze hebben 100Mbit poorten voor de gebruikers en een enkele gigabit uplink naar de distributie switches (Cisco), deze zijn op hun beurt weer aangesloten op de core routers (Cisco) (geen idee wat voor een link daar tussen zit). Deze core routers (ik meen 5 totaal) zijn weer met 10Gbit verbindingen aan elkaar en het internet verbonden. Globaal is dat ongeveer hoe het netwerk aldaar in elkaar steekt.
Op een evenement als dit moet natuurlijk ook gegeten worden, nou denk je bij de term festival waarschijnlijk meteen aan astronomisch hoge prijzen voor de catering, maar gelukkig hebben ze bij DreamHack begrepen dat je daarmee een groot deel van je bezoekers naar buiten jaagt. De prijzen van de catering zijn dus bewust erg laag gehouden, dat wil nog niet zeggen dat het spotgoedkoop is, maar je betaalt in ieder geval geen 10 euro voor een pizzapunt. De kwaliteit van het eten is verder goed te noemen, het aanbod is redelijk, maar niet heel erg gevarieerd, wij hebben er dan dus ook voor gekozen om één avond in het restaurant te eten, houd er alleen wel rekening mee dat drank in Zweden echt schreeuwend duur is, 5 euro voor een biertje is geen uitzondering..
Alhoewel volgens de rest van de groep geen problemen met de slaapzaal had hebben wij er toch voor gekozen om in het Scandic hotel tegenover de Elmia hallen te slapen. Ik hecht erg veel waarde aan een goede nachtrust en heb er dus ook wel een paar euro voor over om verzekerd te zijn van een goed bed en een goed ontbijt . Dus voor iets minder dan 230 euro voor 3 nachten sliepen we in een prima hotel dat op loopafstand van DreamHack zat.
De terugreis
Helaas ben ik in Zweden erg verkouden geworden waardoor ik met koorts de bus in mocht 
. Dat heft voor mij de reis niet echt veel prettiger gemaakt, maar gelukkig keek ik boos genoeg om niet lastig gevallen te worden 
. De reis is gelukkig goed gegaan en omstreeks 2.30 uur woensdag ochtend waren we terug in Nieuwegein, een uurtje later konden we gelukkig weer in ons eigen bed kruipen en weer eens goed slapen..
Tot slot
Al met al is het wel echt een happening waar je minimaal één keer in je leven naar toe geweest moet zijn als je hier in Nederland regelmatig dit soort evenementen bezoekt. En met een prijs van 100 euro pp inclusief toegang (normaal al 82,50 euro) en reis (Waarvoor we Intel erg dankbaar mogen zijn) was het ook deze keer via Pack4DreamHack ook financieel erg goed te doen. Ik ga dit jaar ook zeker nog naar de Winter editie (14.000 deelnemers) om ook dat nog eens te ervaren, maar nu eerst CampZone
Nieuw netwerk
Nu de verhuizing klaar is (daarover later meer), kan ik ook het thuisnetwerk weer eens een beetje aanpassen.. Gezien UPC nog steeds op zich laat wachten heb ik nog geen internet thuis maar als dat er dan eindelijk is komt het er allemaal ongeveer zo uit te zien:
Naast dat wat er op de tekening staat is er ook nog een wireless 54 / 300 Mbit netwerk, alleen gebruiken we dat alleen voor onze telefoons en voor de gasten .
Zarafa open source Exchange alternatief
Ik had al een paar keer van Zarafa gehoord, een opensource alternatief voor Exchange, inclusief ondersteuning voor MAPI. Gezien ik de laatste tijd toch al aardig aan het spelen was met mijn Debian Linux installatie kon ik dit ook wel eens proberen.. De installatie op zich is niet zo heel erg lastig, echter, alle handleidingen / howto's en wiki's die je op internet kan vinden kloppen allemaal NET niet.. Zeer frusterend.. Maar na uren van zoeken en prutsen is het met een klein beetje hulp van Eric uiteindelijk toch gelukt .
Een dezer dagen zal ik een volledige how to voor het installeren en instellen van Zarafa op Debian Linux online zetten die WEL klopt .. Tot die tijd heb ik hier een aantal screenshots neergezet.
Storage en Netwerk uitdaging (2)
Vorige week besloot ik na een aantal berichten heen en weer op Twitter dat het beter was even een bericht op mijn website te zetten over het probleem waar ik op het werk mee te maken had.. Dat bericht werd wat groter dan verwacht maar stond na 2 uurtjes schrijven online. Gelukkig namen zowel Steph als Andries de tijd om met me mee te denken om tot een goede oplossing te komen.
Ik heb een 11-tal scenario's uitgewerkt en getest (klik op onderstaand plaatje) om te kunnen bepalen waar het probleem nou zat. Mede door de tips van Andries in zijn meer dan uitgebreide reactie is het uitendelijk gelukt om te vinden waar de vertraging vandaan kwam.
Tevens heb ik een stuk performance log opgeslagen om te kunnen kijken of de bottleneck dan niet toch op de server zou zitten. Bij het bestuderen van deze logging bleek dat de disk queue length van de SSD die de data aan moest leveren onder de 0.1 bleef, dat in combinatie met een verwaarloosbare CPU belasting en een beperkte hoeveelheid netwerkverkeer bevestigden nogmaals dat de server het probleem niet kon zijn. Om dit te bevestigen heb ik als test terwijl de server 6 clients van data aan het voorzien was (met 300 Mbit) een kopieractie van 40 GB naar de 3 andere servers gestart.. Meteen zat de Gbit verbinding van de server op 92% belasting, wat in dit geval inclusief de overhead onderveer het max is (941 Mbit bij een packetsize van 64k). Vanaf dit punt was het zeker dat de server de beperking niet was.
Steph had al eerder aangegeven dat CIFS mogelijk het probleem was, nadat we de server uitgesloten hadden kwamen Andries en ik eigenlijk tot de conclusie dat het wel in die hoek MOEST zitten.. Om dit te testen heb ik de 6 laptops opnieuw ingericht en weer de standaard filetransfer gestart (490 blokken van 100 MB, 1 robocopy sessie). De netwerkbelasting op de laptosp schommeld op dat moment rond de 50-60 Mbit. Wanneer ik dan handmatig nog een extra Robocopy sessie start van een 4,5 GB bestand schiet de netwerkactiviteit naar +- 300 Mbit op de desbetreffende client.. Hieruit valt op te maken dat het verhogen van het aantal gelijktijdige Robocopy acties de snelheid drastisch doet verhogen..
Op dit punt was het probleem duidelijk en eigenlijk ook meteen de beste oplossing. De nieuwste versie van Robocopy bied ondersteuning voor simultane downloads, deze versie (XP0027) werkt helaas alleen op Windows 7 en Windows Vista.. Als noodoplossing heb ik een kort AutoIT scriptje geschreven dat 2 robocopy sessies start. Wanneer dit script gebruikt wordt starten er 2 gelijktijdige kopieracties.. De totale snelheid van 6 clients komt dan op de 807 Mbit te liggen, wat ruim voldoende is voor wat wij van plan zijn (100 Mbit per client is de max die we met dit netwerk met 10 clients gelijktijdig kunnen behalen).
Het enige dat nu nog rest is het schrijven van een net script en de implementatie in het grote installatie project, maar dit laat ik volgende week aan anderen over (die zijn daar stukken beter in).
Dan rest mij verder niets dan Steph en Andries te bedanken voor hun hulp bij het oplossen van dit probleem en het nemen van een vrije dag aan het einde van deze week..
Storage en Netwerk uitdaging
Oke, eerst een korte introductie:
Bijna 1,5 jaar geleden ben ik begonnen met een groot laptop project bij een klant van mijn werkgever. De opdracht omvat het ontwerpen en bouwen van een volledige mobiele ICT werkplek voor een specifieke gebruikersgroep van 165 personen die geen echte affiniteit met computers hebben. De opstelling moest omvatten:
- Een robuste laptop
- Een GPRS / UMTS / HSDPA (afhankelijk van beschikbaarheid) verbinding
- Een printer
- Een dockingstation
- GPS plaatsbepaling
De software die uiteindelijk op de laptop komt is niet heel erg belangrijk in dit verhaal, een aantal wel relevante kernpunten zijn:
- Windows XP SP3
- MsSQL 2000 SP4
- RES PowerFuse
- RES Wisdom
- Data om mee te werken (3x XML Database van 3,x GB)
- Text, JPG, PDF en TIFF bestanden met informatie (45 GB, 3.000.000 bestanden)
Het probleem / vraagstuk waar we nu mee bezig zijn ligt in het verlengde van een probleem dat we eerder tegen gekomen zijn en deels opgelost hebben. In het begin van het originele project hadden we de volgende opstelling om de laptops mee te installeren (inspoelen)
Hardware:
- 2x HP DL360 G5 - 2 x 74GB in RAID1 als boot + 4 x 146 GB in RAID5 voor storage + 512 MB Cache op de (standaard) RAID controller
- 1x 48 Poorts full Gigabit Cisco switch
Software:
- Inspoelen basisimage + essentiele drivers: Microsoft BDD
- Installeren software + overige drivers: RES Wisdom
- Filetransfers: Robocopy
Client laptops die we gekozen hebben:
- HP6930p Elitebooks (Chipset: Mobile INTEL 45GM Express)
Het originele probleem:
Toen we op grotere schaal de laptops gingen installeren kwamen we er achter dat het in 1 Robocopy script kopieren van 45 GB aan data geen probleem was, tenzij het 3.000.000 kleine bestanden waren, op volstrekt willekeurige punten in de job kreeg de laptop een blue-screen, wat wel vast stond was dat geen enkele laptop de gehele installatie procedure goed doorliep. Als eerste hebben we uiteraard gecontroleerd of we de meest recente AHCI en Intel Matrix Storage drivers hadden, deze bleken beiden recent te zijn. Echter, ondanks de verschillende oplossingen die we bedachten vonden we niets dat werkte.
Echter, ergens ver weg gestopt in alle Google resultaten bleek dat met de combinatie Windows XP, ons type chipset en onze drivers problemen konden ontstaan die erg sterk op die van ons leken. Oudere driver versies waren geen optie in verband met problemen met BDD en AHCI. De oplossing kon gevonden worden in een specifiek KB artikel (linkje volgt nog) van Microsoft dat een custom versie van NTFS.sys aanbood als oplossing van ons probleem.
Dit in combinatie met het inpakken (zonder compressie ivm uitpak-tijd) van de files in 4 GB blokken zorgde er voor dat we voor toen snel genoeg (14-16 laptops gelijktijdig) laptops konden installeren.
Van:
Naar:
Tussendoor:
Ondertussen hebben we de laptops uitgeleverd, zijn er gezien het zeer complexe ontwerp wel nog redelijk wat problemen die we nu stuk voor stuk aan het oplossen zijn. Al met al worden de laptops met redelijke tevredenheid gebruikt. Gezien redelijke tevredenheid niet goed genoeg is zijn we er nog steeds druk mee bezig en voeren we regelmatig optimalisaties uit. Zeer binnenkort gaat er in 1 weekend overgestapt worden op een nieuwe SAP backend, waardoor ook alle clients opnieuw ingericht moeten worden (mijn laptops dan in ieder geval). De vorige keer hadden we 174 laptops en 3 weken de tijd.. Nu hebben we 225 laptops en 3 dagen voor het inrichten en 2 dagen voor het verpersoonlijken van de laptops
Uitdaging:
De uitdaging is duidelijk, 225 laptops installeren en voorzien van 60 GB aan data (de "probleem-data" en nog wat extra) in 72 uur.. Volgens mijn planning moet het lukken als we een beetje door kunnen werken en een nieuwe inspoel-omgeving bouwen. Dat deel is gebeurt.. en goed ook.. Dus die inspoelomgeving is niet zo zeer het probleem. De specs:
- 1x HP DL360 G5 - 2 x 74GB in RAID1 als boot + 4 x 146 GB in RAID5 voor storage + 512 MB Cache op de (standaard) RAID controller (Voor het aanleveren van de BDD basisimage voor de laptops)
- 4x HP DC7900 Desktop systemen met on-board INTEL 82567LM Gigabit netwerk chipset
- 4x INTEL X25-m 160 GB SSD (voor in de bovengenoemde systemen als 2e / data disk)
- 4x Windows 7 professional (Betere SSD ondersteuning)
- 2x 48 poorts full gigabit Cisco switches in een stack
Even een korte uitleg over het bovenstaande, de keuze voor dit type HP client is gebasseerd op de aanwezige netwerkchip die er voor zorgt dat we geen zware CPU belasting krijgen door het netwerkverkeer. Gezien we ze alleen voor deze actie nodig hebben en ze alleen maar data aan hoeven te leveren zijn "echte" servers overbodig. De SSD's hebben we gekozen voor de enorme hoeveelheid data die dit type schijf aan kan leveren. De INTEL X25-m die wij gebruiken doet ongeveer 240 MB per seconde tegenover +- 80-90 MB voor een "normale" disk. We hebben voor Windows 7 gekozen vanwege de betere SSD ondersteuning dan in Windows XP en het feit dat het systeem moet werken zonder dat we daar teveel aan hoeven te tunen.
Met de bovengenoemde opstelling kunnen we zonder enig probleem een volle gigabit aan dataverkeer aanleveren (per "server") en als het zou moeten denk ik dat we in totaal (de 4 systemen samen) 6-7 Gigabit kunnen halen met extra netwerkadapters (wat neer zou komen op 875 MB per seconde (meer dan 1 cd per seconde dus). Maar voor onze plannen is 500 Mb (4 Gigabit) voldoende.
De opstelling is bedoeld om 40 laptops gelijktijdig te kunnen installeren terwijl we de batch van daarvoor afconfigureren.. Dus, 80 laptops tegelijk aangesloten aan het netwerk, wat weer de nodige bekabeling met zich mee brengt die ik gister ter ontspanning tijdens het werk heb neergelegd..
Van:
naar:
naar:
Het nieuwe "probleem":
Oke, we hebben al het bovenstaande, alleen hebben we ook een "oud " probleem terug... Eerder spoelden we al laptops in maar hadden we meer tijd, gezien de tijdsdruk de vorige keer niet al te groot was konden we er goed mee leven dat het binnenhalen van de 45 GB aan data 3 uur duurde.. Nu hebben we echter haast.. Wanneer we de data naar de laptop toe beginnen te sturen (in blokken van 4 GB, ingepakt, uncompressed) zien we dat de laptop begint met een kleine 250-300 Mbit (25 - 37,5 MB per seconde), wat een zeer acceptabele snelheid zou zijn. Echter, na een korte periode zakt de snelheid in naar +- 30 Mbit (3,75 MB per seconde) wat dus te langzaam is. Het zou aan de drivers of de custom ntfs.sys kunnen liggen, maar daar kunnen we helaas niets aan doen.
Wat we nu morgen gaan testen is het opbreken van de 4 GB bestanden in bestanden van 100 MB, en kijken wat hij dan doet. De "grote" achives komen dus op de 4 fileservers (iedere server heeft een eigen complete set en bedient 10 van de 40 clients). Andries en Steph merkten terrecht op dat het wel eens een beperking van NTFS zou kunnen zijn waardoor de transfer na x MB inzakt, dus daar had ik vanmiddag al het een en ander voor in gang gezet (het uitpakken en opnieuw inpakken van de bestanden duurt samen ongeveer 5 uur op een laptop).
Een ander alternatief waar Steph mee kwam is het gebruiken van een nieuwe versie van Robocopy die meerdere transfers gelijktijdig kan doen, maar dit wil ik als noodoplossing gebruiken omdat Robocopy voor veel dingen gebruikt worden die we dan ook weer individueel zullen moeten testen (waar we zo goed als geen tijd meer voor hebben om dat ook nog te doen).
Het uiteindelijke doel is dat iedere client 100 Mbit per seconde aan data aangeleverd krijgt.. Het uitpakken van de data gebeurt vervolgens geautomatiseerd (net als de rest van het installatie proces overigens) op de laptops zelf. Met 100 Mbit per client kan ik de 4 "file-servers" volledig belasten (qua netwerk) en zou ik dus dus de meest redelijkerwijs haalbare oplossing hebben bereikt..
Ik vind het in ieder geval erg leuk om hier mee te werken. het is geen fijn probleem, maar wel een leuk probleem om uit te zoeken en ik denk ook wel dat we uiteindelijk een goede oplossing gaan vinden, die ik hier dan ook zeker met jullie ga delen.
Uiteindelijk is dit een iets groter stuk geworden dan ik voorzien had, maar het geeft denk ik wel een klein beetje inzicht een een deel van de technische kant van mijn werkzaamheden..