Herman’s weblog

Vorige week besloot ik na een aantal berichten heen en weer op Twitter dat het beter was even een bericht op mijn website te zetten over het probleem waar ik op het werk mee te maken had.. Dat bericht werd wat groter dan verwacht maar stond na 2 uurtjes schrijven online. Gelukkig namen zowel Steph als Andries de tijd om met me mee te denken om tot een goede oplossing te komen.

Ik heb een 11-tal scenario’s uitgewerkt en getest (klik op onderstaand plaatje) om te kunnen bepalen waar het probleem nou zat. Mede door de tips van Andries in zijn meer dan uitgebreide reactie is het uitendelijk gelukt om te vinden waar de vertraging vandaan kwam.

Tevens heb ik een stuk performance log opgeslagen om te kunnen kijken of de bottleneck dan niet toch op de server zou zitten. Bij het bestuderen van deze logging bleek dat de disk queue length van de SSD die de data aan moest leveren onder de 0.1 bleef, dat in combinatie met een verwaarloosbare CPU belasting en een beperkte hoeveelheid netwerkverkeer bevestigden nogmaals dat de server het probleem niet kon zijn. Om dit te bevestigen heb ik als test terwijl de server 6 clients van data aan het voorzien was (met 300 Mbit) een kopieractie van 40 GB naar de 3 andere servers gestart.. Meteen zat de Gbit verbinding van de server op  92% belasting, wat in dit geval inclusief de overhead onderveer het max is (941 Mbit bij een packetsize van 64k). Vanaf dit punt was het zeker dat de server de beperking niet was.

Steph had al eerder aangegeven dat CIFS mogelijk het probleem was, nadat we de server uitgesloten hadden kwamen Andries en ik eigenlijk tot de conclusie dat het wel in die hoek MOEST zitten.. Om dit te testen heb ik de 6 laptops opnieuw ingericht en weer de standaard filetransfer gestart (490 blokken van 100 MB, 1 robocopy sessie). De netwerkbelasting op de laptosp schommeld op dat moment rond de 50-60 Mbit. Wanneer ik dan handmatig nog een extra Robocopy sessie start van een 4,5 GB bestand schiet de netwerkactiviteit naar +- 300 Mbit op de desbetreffende client.. Hieruit valt op te maken dat het verhogen van het aantal gelijktijdige Robocopy acties de snelheid drastisch doet verhogen..

Op dit punt was het probleem duidelijk en eigenlijk ook meteen de beste oplossing. De nieuwste versie van Robocopy bied ondersteuning voor simultane downloads, deze versie (XP0027) werkt helaas alleen op Windows 7 en Windows Vista.. Als noodoplossing heb ik een kort AutoIT scriptje geschreven dat 2 robocopy sessies start. Wanneer dit script gebruikt wordt starten er 2 gelijktijdige kopieracties.. De totale snelheid van 6 clients komt dan op de 807 Mbit te liggen, wat ruim voldoende is voor wat wij van plan zijn (100 Mbit per client is de max die we met dit netwerk met 10 clients gelijktijdig kunnen behalen).

Het enige dat nu nog rest is het schrijven van een net script en de implementatie in het grote installatie project, maar dit laat ik volgende week aan anderen over (die zijn daar stukken beter in).

Dan rest mij verder niets dan Steph en Andries te bedanken voor hun hulp bij het oplossen van dit probleem en het nemen van een vrije dag aan het einde van deze week..

Oke, eerst een korte introductie:

Bijna 1,5 jaar geleden ben ik begonnen met een groot laptop project bij een klant van mijn werkgever. De opdracht omvat het ontwerpen en bouwen van een volledige mobiele ICT werkplek voor een specifieke gebruikersgroep van 165 personen die geen echte affiniteit met computers hebben. De opstelling moest omvatten:

• Een robuste laptop
• Een GPRS / UMTS / HSDPA (afhankelijk van beschikbaarheid) verbinding
• Een printer
• Een dockingstation
• GPS plaatsbepaling

De software die uiteindelijk op de laptop komt is niet heel erg belangrijk in dit verhaal, een aantal wel relevante kernpunten zijn:

• Windows XP SP3
• MsSQL 2000 SP4
• RES PowerFuse
• RES Wisdom
• Data om mee te werken (3x XML Database van 3,x GB)
• Text, JPG, PDF en TIFF bestanden met informatie (45 GB, 3.000.000 bestanden)

Het probleem / vraagstuk waar we nu mee bezig zijn ligt in het verlengde van een probleem dat we eerder tegen gekomen zijn en deels opgelost hebben. In het begin van het originele project hadden we de volgende opstelling om de laptops mee te installeren (inspoelen)

Hardware:

• 2x HP DL360 G5 – 2 x 74GB in RAID1 als boot + 4 x 146 GB in RAID5  voor storage + 512 MB Cache op de (standaard) RAID controller
• 1x 48 Poorts full Gigabit Cisco switch

Software:

• Inspoelen basisimage + essentiele drivers: Microsoft BDD
• Installeren software + overige drivers: RES Wisdom
• Filetransfers: Robocopy

Client laptops die we gekozen hebben:

• HP6930p Elitebooks (Chipset:  Mobile INTEL 45GM Express)

Het originele probleem:

Toen we op grotere schaal de laptops gingen installeren kwamen we er achter dat het in 1 Robocopy script kopieren van 45 GB aan data geen probleem was, tenzij het 3.000.000 kleine bestanden waren, op volstrekt willekeurige punten in de job kreeg de laptop een blue-screen, wat wel vast stond was dat geen enkele laptop de gehele installatie procedure goed doorliep. Als eerste hebben we uiteraard gecontroleerd of we de meest recente AHCI en Intel Matrix Storage drivers hadden, deze bleken beiden recent te zijn. Echter, ondanks de verschillende oplossingen die we bedachten vonden we niets dat werkte.

Echter, ergens ver weg gestopt in alle Google resultaten bleek dat met de combinatie Windows XP, ons type chipset en onze drivers problemen konden ontstaan die erg sterk op die van ons leken. Oudere driver versies waren geen optie in verband met problemen met BDD en AHCI. De oplossing kon gevonden worden in een specifiek KB artikel (linkje volgt nog) van Microsoft dat een custom versie van NTFS.sys aanbood als oplossing van ons probleem.

Dit in combinatie met het inpakken (zonder compressie ivm uitpak-tijd) van de files in 4 GB blokken zorgde er voor dat we voor toen snel genoeg (14-16 laptops gelijktijdig) laptops konden installeren.

Van:

Naar:

Tussendoor:

Ondertussen hebben we de laptops uitgeleverd, zijn er gezien het zeer complexe ontwerp wel nog redelijk wat problemen die we nu stuk voor stuk aan het oplossen zijn. Al met al worden de laptops met redelijke tevredenheid gebruikt. Gezien redelijke tevredenheid niet goed genoeg is zijn we er nog steeds druk mee bezig en voeren we regelmatig optimalisaties uit. Zeer binnenkort gaat er in 1 weekend overgestapt worden op een nieuwe SAP backend, waardoor ook alle clients opnieuw ingericht moeten worden (mijn laptops dan in ieder geval). De vorige keer hadden we 174 laptops en 3 weken de tijd.. Nu hebben we 225 laptops en 3 dagen voor het inrichten en 2 dagen voor het verpersoonlijken van de laptops

Uitdaging:

De uitdaging is duidelijk, 225 laptops installeren en voorzien van 60 GB aan data (de “probleem-data” en nog wat extra) in 72 uur.. Volgens mijn planning moet het lukken als we een beetje door kunnen werken en een nieuwe inspoel-omgeving bouwen. Dat deel is gebeurt.. en goed ook.. Dus die inspoelomgeving is niet zo zeer het probleem. De specs:

• 1x HP DL360 G5 – 2 x 74GB in RAID1 als boot + 4 x 146 GB in RAID5  voor storage + 512 MB Cache op de (standaard) RAID controller (Voor het aanleveren van de BDD basisimage voor de laptops)
• 4x HP DC7900 Desktop systemen met on-board INTEL 82567LM Gigabit netwerk chipset
• 4x INTEL X25-m 160 GB SSD (voor in de bovengenoemde systemen als 2e / data disk)
• 4x Windows 7 professional (Betere SSD ondersteuning)
• 2x 48 poorts full gigabit Cisco switches in een stack

Even een korte uitleg over het bovenstaande, de keuze voor dit type HP client is gebasseerd op de aanwezige netwerkchip die er voor zorgt dat we geen zware CPU belasting krijgen door het netwerkverkeer. Gezien we ze alleen voor deze actie nodig hebben en ze alleen maar data aan hoeven te leveren zijn “echte” servers overbodig. De SSD’s hebben we gekozen voor de enorme hoeveelheid data die dit type schijf aan kan leveren. De INTEL X25-m die wij gebruiken doet ongeveer 240 MB per seconde tegenover +- 80-90 MB voor een “normale”  disk. We hebben voor Windows 7 gekozen vanwege de betere SSD ondersteuning dan in Windows XP en het feit dat het systeem moet werken zonder dat we daar teveel aan hoeven te tunen.

Met de bovengenoemde opstelling kunnen we zonder enig probleem een volle gigabit aan dataverkeer aanleveren (per “server”) en als het zou moeten denk ik dat we in totaal (de 4 systemen samen) 6-7 Gigabit kunnen halen met extra netwerkadapters (wat neer zou komen op 875 MB per seconde (meer dan 1 cd per seconde dus). Maar voor onze plannen is 500 Mb (4 Gigabit) voldoende.

De opstelling is bedoeld om 40 laptops gelijktijdig te kunnen installeren terwijl we de batch van daarvoor afconfigureren.. Dus, 80 laptops tegelijk aangesloten aan het netwerk, wat weer de nodige bekabeling met zich mee brengt die ik gister ter ontspanning tijdens het werk heb neergelegd..

Van:

naar:

naar:

Het nieuwe “probleem”:

Oke, we hebben al het bovenstaande, alleen hebben we ook een “oud ” probleem terug… Eerder spoelden we al laptops in maar hadden we meer tijd, gezien de tijdsdruk de vorige keer niet al te groot was konden we er goed mee leven dat het binnenhalen van de 45 GB aan data 3 uur duurde.. Nu hebben we echter haast.. Wanneer we de data naar de laptop toe beginnen te sturen (in blokken van 4 GB, ingepakt, uncompressed) zien we dat de laptop begint met een kleine 250-300 Mbit (25 – 37,5 MB per seconde), wat een zeer acceptabele snelheid zou zijn. Echter, na een korte periode zakt de snelheid in naar +- 30 Mbit (3,75 MB per seconde) wat dus te langzaam is. Het zou aan de drivers of de custom ntfs.sys kunnen liggen, maar daar kunnen we helaas niets aan doen.

Wat we nu morgen gaan testen is het opbreken van de 4 GB bestanden in bestanden van 100 MB, en kijken wat hij dan doet. De “grote” achives komen dus op de 4 fileservers (iedere server heeft een eigen complete set en bedient 10 van de 40 clients). Andries en Steph merkten terrecht op dat het wel eens een beperking van NTFS zou kunnen zijn waardoor de transfer na x MB inzakt, dus daar had ik vanmiddag al het een en ander voor in gang gezet (het uitpakken en opnieuw inpakken van de bestanden duurt samen ongeveer 5 uur op een laptop).

Een ander alternatief waar Steph mee kwam is het gebruiken van een nieuwe versie van Robocopy die meerdere transfers gelijktijdig kan doen, maar dit wil ik als noodoplossing gebruiken omdat Robocopy voor veel dingen gebruikt worden die we dan ook weer individueel zullen moeten testen (waar we zo goed als geen tijd meer voor hebben om dat ook nog te doen).

Het uiteindelijke doel is dat iedere client 100 Mbit per seconde aan data aangeleverd krijgt.. Het uitpakken van de data gebeurt vervolgens geautomatiseerd (net als de rest van het installatie proces overigens) op de laptops zelf. Met 100 Mbit per client kan ik de 4 “file-servers” volledig belasten (qua netwerk) en zou ik dus dus de meest redelijkerwijs haalbare oplossing hebben bereikt..

Ik vind het in ieder geval erg leuk om hier mee te werken. het is geen fijn probleem, maar wel een leuk probleem om uit te zoeken en ik denk ook wel dat we uiteindelijk een goede oplossing gaan vinden, die ik hier dan ook zeker met jullie ga delen.

Uiteindelijk is dit een iets groter stuk geworden dan ik voorzien had, maar het geeft denk ik wel een klein beetje inzicht een een deel van de technische kant van mijn werkzaamheden..

Lieneke heeft voor haar studie gekozen om ook een blok marketing te doen, zij vind dit geen leuk vak, maar het is wel een belangrijk onderdeel van haar studie. Ik vind marketing eeuwig boeiend, het op diverse manieren manipuleren van je potentiele kopers en dan toch proberen op de grens te blijven van wat moreel gezien kan en mag en dat zonder mensen boos te maken.

Een van de boeken die Lieneke hiervoor besteld heeft is “Purple Cow” van Seth Godin. Het boekje is ongeveer 170 pagina’s dik en ik heb er tussen de 2 en 3 uur over gedaan om het helemaal door te lezen. De punten die hij in dit boek maakt komen er vooral op neer dat het oude marketing model dat bedrijven gebruiken (en vooral op TV reclame gebaseerd is) eigenlijk dood is. Bedrijven die nu nog een kans willen maken moeten iets bijzonders doen… Kort samen gevat moeten ze dus de paarse koe zijn die tussen de duizende zwart-witte koeien staat en dus nog wel op valt. Maak iets opmerkelijks en laat het door de early adaptors aanprijzen bij de grote groep.

Het boek is erg vermakelijk geschreven en dat hielp ook wel bij het snel uitlezen van het boek. De zaken die er in voor komen zijn niet alleen van toepassing op bedrijven, maar bijvoorbeeld ook op je eigen CV, zeker nu wanneer er voor een baan honderden solicitaties binnen komen is het zaak om te zorgen dat die van jou opvalt, en dat doe je door opmerkelijk te zijn. Het gevaar hierin is wel dat opmerkelijk ook snel fout kan zijn, maar wanneer je vlak voor die grens blijft heb je een product gemaakt dat niet meer kan missen.

Als marketing je interesseerd is dit in ieder geval zeker een aanrader.

Dat ik op CampZone 2009 ben mag inmiddels wel duidelijk zijn (nu even niet, maar ok, vanaf vanmiddag weer wel). De afgelopen 2 dagen en vandaag mag ik om 5.25 uur uit bed komen om dan vervolgens naar de douches te strompelen, te ontbijten en vervolgens in de auto te stappen naar Utrecht. Ik moet zeggen dat het wel erg vermoeiend is, vroeg op staan, naar het werk rijden (met de auto vanaf CZ), werken, terug rijden, tot laat op CampZone, slapen in de tent, en weer vroeg op staan.

Maar, dat alles is na vandaag voorbij, de rest van CampZone en het opruimen van het terrein ben ik vrij en kan ik alle tijd in het evenement steken

Het evenement loopt tot dusver zonder noemenswaardige problemen, en gelukkig zit ook het weer erg mee . Met dit weer zie je ook veel meer bezoekers hele dagen buiten lopen en komen er ook meer dagjesmensen kijken . Ook de sfeer is erg goed dus dat gaat ook allemaal lekker zo .

Ondertussen verzamel ik ook rustig beeldmateriaal voor het 4e en laatste filmpje, dus dat zit ook nog in de pijplijn.

Inmiddels reis ik +- twee maanden dagelijks met de trein op en neer naar mijn werk. Iets wat voor iemand die 65.000 km per jaar auto rijden gewent is nogal een grote verandering is . Inmiddels rij ik nog maar 3x per week in mijn auto om boodschappen te doen of iets in die richting.

Maar ik dus dagelijks met de trein reis merk ik dat ik veel meer tijd heb om aan mijn studie te werken, meer ontspannen op het werk aan kom en dus meer kan doen. Wel zijn er in de trein natuurljik ook ergerpuntjes, maar die zou je in de auto ook gehad hebben (meer zelfs nog denk ik). Wat me het meeste irriteerd is dat opvallend weinig mensen nog in staat zijn om aan andere mensen te denken.. Het komt zelfs voor dat mensen hun telefoon op speaker zetten om naar muziek te luisteren in een volle stile coupé.. Echt, dat iemand die zo asociaal is nog niet is uitgestorven door natuurlijke selectie.. Maar oke, dat terzijde.

Het dagritme nu met de trein:

- Opstaan en standaard zaken
- In 5 minuten van huis naar Eindhoven CS fietsen
- Stap in de trein (max 15 minuten wachten)
- Wacht +- 50 minutjes (en vul de tijd met lezen of leren)
- Stap uit te trein en in de bus (max 10 minuten wachten)
- Zit in de bus en stap uit bij het werk (10-15 minuten reistijd)
- Loop 2 minuten naar het kantoor

Al met al ben ik eigenlijk altijd wel binnen 1,5 uur op mijn werk in Utrecht, en het mooie is dt ik de tijd in de trein nog eens nuttig heb kunnen besteden ook. Daarnaast geen frustraties van files en natuurlijk een brandstof besparing voor 2e2 (de brandstof is duurder dan de treinkaartjes op deze route) en een beperking van de belasting die ik op het mileu lever.

En dan heb ik het in ieder geval niet over de verkiezingen.. Maar over de NS maand-net kaart die ik as. maandag ga halen.. Gezien mijn opdracht bij Vitens zich van Arnhem naar Utrecht heeft verplaatst moet ik voortaan in Utrecht mijn werkzaamheden verrichten. Gezien ik in het centrum van Eindhoven woon, en Vitens eigenlijk net voorbij Utrecht aan de A2 zit betreft het hier een van de meest nare routes op de Nederlandse snelwegen. Iedere dag minimaal 3 uur in de auto zitten gaat zo zijn tol eisen, dus vandaar de overstap naar het openbaar vervoer.. Ik bespaar hiermee 1000 km auto rijden per week en gelukkig vergoed mijn werkgever (2e2) de ns kaart.

Dus, mijn reisschema ziet er voortaan zo uit:

6.15 uur: Fietsen naar centraal station Eindhoven
6.32 uur: Trein naar Utrecht centraal
7.22 uur: Aangekomen Utrecht centraal
7.30 uur: Bus naar Vitens
7.40 uur: Aangekomen bij Vitens

Terug naar huis wanneer ik klaar ben, eindelijk ook geen druk meer van voor 15.00 uur moeten vertrekken om zo min mogelijk in de file te hoeven staan . de NS maand net kaart kost 347 euro per maand, maar geeft daarbij onbeperkt gebruik van de trein, dus ook in het weekend of wanneer ik maar wil. Dus wanneer Lieneke en ik weer eens sushi willen eten in Rotterdam hoeven we alleen nog maar in de trein te stappen . Ik zal het auto rijden wel gaan missen denk ik, maar de files in ieder geval niet.

Ik heb al enige tijd niets meer geschreven, niet omdat ik dat niet wilde maar deze keer echt omdat er gewoon geen tijd was.. Afgelopen weekend heb ik (ondanks de feestdagen) alle dagen gewerkt.. Vrijdag van 7.00 tot 22.30, zaterdag van 8.00 tot 19.00, zondag van 8.00 tot 19.00 en maandag van 12.45 tot 17.00.. Er stonden een aantal grote updates / migraties op de planning voor de laptops die ik ontwikkel heb met het team op het werk.. De aanloop naar dit weekend toe zat vol met problemen, maar het weekend zelf ging volledig zonder problemen . Een zeer aardige prestatie dus..

Ondertussen ben ik voor mijn werkzaamheden in Utrecht van de auto afgestapt en maak ik voor deze zaken voortaan gebruik van de trein en bus, dit bespaart me een klein uur reistijd per dag en zorgt er voor dat ik een stuk uitgeruster aan kom op het werk en ook weer enigzinds fris thuis kom. Gelukkig betaald 2e2 de kosten van het reizen, dus dat is ook al een mooie meevaller .

Verder ben ik momenteel aan het zoeken voor een nieuwe computer voor thuis, en het lijkt er zowaar op dat ik ondanks dat mijn werk zich voor 99,9% in de Microsoft sfeer afspeeld ik toch voor een Apple ga kiezen.. De 24″ iMac vooralsnog, maar ik heb nog 3 weken om daar goed over na te denken.

Ik ga nu in ieder geval de rest van de week rustig aan doen, neem donderdag en vrijdag vrij om eens even niets te hoeven doen..

Verder, ik loop Twitter altijd al af te kraken, iemand kwam daarbij met de reactie dat ik het eerst eens moest proberen voor ik het af mocht kraken. Gezien ze daarin gelijk hebben ben ik nu een tijdtje Twitter aan het gebruiken om vervolgens onderbouwd te kunnen vertellen of ik het wat vind of dat het echt helemaal niets is. Tot die tijd ben ik hier dus te volgen.