Storing website 16-8-2006

[Joost]

grrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrr.
wat een onzin stroomstoring.
je dondert toch een flinke ups voor die **** server of niet dan.
en mijn prosak is op

ja heb je gelijk in. met 1 maar.

Heb jij wel eens een ontplofte ups meegemaakt?
(weet in dit geval niet de (Exacte) oorzaak hoor)

in zat 2 jaar geleden op kantoor met 3 kapotte switches te kijken

[Drake]

idd, niet echt een profi hoster

maar ik ben wel HEEL blij dat alles weer draaid

[Redah]

het lijkt er ook op dat de site erg traag is.
Ik vermoed dat er nog steeds onderhoud plaats vindt.
(websites terug zetten van backup tape)

Ik hoop maar denk van niet dat er nog een backup wordt terug gezet die nieuwer is.

we doen het er maar mee.

De server is inderdaad trager nu, door diverse handelingen... Maar voornamelijk omdat het een fonkelnieuwe server is, waarvan we nog geen tijd hebben gehad om deze perfect te optimaliseren (normaal nemen we daar een aantal dagen voor... nu moest het binnen een paar minuten), zoals je ook hieronder kunt lezen:

Ze zeggen een stroomstoring, maar beide servers doen het nog steeds neit.
Normaal gesproken ligt zo'n server er nooit heel lang uit en die dingen zijno p afstand te bedienen enzo.
Mocht je hem op afstand toch niet kunnen resetten etc kan je altijd nog ff het datacenter in stappen en het ding weer handmatig aanzetten.

Omdat er nu in een keer sprake is van een ander ip adres staat er dus een compleet andere server gekomen waar nu de site op gehost staat.
Dan ligt het probleem in ieder geval niet alleen bij een stroomstoring, maar is er iets anders kapot gegaan (mogelijk door die stroomstoring).

Ik heb zelf ook een hosting bedrijf en geloof nog steeds niet in fabeltjes
Magoed, misschien horen we ooit nog wel wat er precies is misgegaan.
Ben al blij dat de boel het weer doen, 3 dagen downtime is echt veeeel te lang voor deze tijd

De term 'stroomstoring' wordt hier denk ik nogal verkeerd opgevat. Het is niet zo dat er ineens geen stroom meer was. Sterker nog, dit is allemaal afgeleid van wat we bij de servers zijn tegengekomen.

E?n server, de webserver, stond bij aankomst uit. Deze heeft dus, ergens, een klap van gekregen. De DNS server zat met een netwerkkabel verbonden met de webserver. Op beide servers werken deze LAN-poorten niet meer. Een logische conclusie (voor mij dan) is dus dat er iets overheen heeft gelopen wat niet de bedoeling is (bijv. een te hoog voltage).

Dus het is niet "even van afstand de APC opdracht geven te resetten", zoals hierboven beschreven wordt. "Even handmatig aanzetten" lukt dus ook niet.

In plaats van uit te gaan zoeken wat er nu precies is gebeurd hebben we een hagelnieuwe server besteld en deze neergezet. Omdat we toch nog wilden proberen of de oude server nog aan de praat te krijgen was, hebben we er inderdaad voor gekozen andere IP adressen aan de nieuwe machine toe te wijzen, zodat deze eventueel konden synchroniseren. De hoofd-harddisk van de DNS-server waren onbereikbaar, daar kon geen data meer vandaan worden gehaald. We hebben een offsite kopie van 7 dagen geleden hiervoor teruggezet, zodat in ieder geval binnen een dag de e-mail van iedereen weer werkte.

Dit had hoogste prioriteit omdat onze klanten hier nu eenmaal de meeste waarde aan hechten.

Toen kwam het volgende probleem (want een probleem komt nooit alleen): De backups restoren. Deze bevonden zich op een extra harde schijf binnenin de DNS server. Hier werd iedere nacht een backup op gepompt. Maar, je raadt het al: Ook deze harddisk was niet meer benaderbaar. Dus moesten we terugvallen op een offsite backup, welke 1x in de week wordt gemaakt. Deze zou dus maximaal 7 dagen oud zijn.

Maar ook daar diende zich een probleem voor: De configuratie was leesbaar (backup bestand 1), de data voor MySQL, mappen met webinhoud, etc, niet. Dus stonden we voor een keuze: Of we gaan een 14 dagen oude restore terugzetten (ervanuitgaand dat deze wel zou werken), of we gaan dagen knoeien met de nieuwe backups. We hebben besloten voor beide te kiezen. In eerste instantie is er dus een complete kopie van 14 dagen geleden teruggezet.

Deze werkt nu naar behoren. Er zijn enkele kleine schoonheidsfoutjes, maar deze zijn zo op te lossen. En dan wordt het door 57GB aan data snuffelen, die opgesplitst is in duizenden kleine bestandjes, zonder omschrijving.

En, voordat Edwin denkt dat het hier weer om een fabeltje gaat: Bekijk http://forum.swsoft.com/showthread.php?threadid=21896 eens, en wellicht dat je dan je mening bijstelt.

idd, niet echt een profi hoster

Da's jouw mening, maar binnen een paar uur een hagelnieuwe server (die niet voorhanden was, en dus besteld is moeten worden) neerzetten en daar configuratie op knallen zou niet iedereen 1-2-3 voor elkaar krijgen...

Uiteraard is het allemaal niet 'netjes' wat hier is gebeurd. Dit is ook zo ongeveer wel het ergste scenario wat je je kunt voorstellen. We hebben nog een keer zo'n 'ramp' gehad, in, volgens mij, 2001. Toen Kyona nog met 1 servertje werkte. De goede oude tijd. Nu er een aantal servers staan, zijn er wel meer probleempjes voorgekomen. Maar, zoals het hoort, hebben jullie daar nooit iets van gemerkt. Wat nu is gebeurd hadden we gewoon nooit kunnen voorzien of in kunnen plannen. Het meest ironische is nog wel dat de webserver (die waarschijnlijk alles veroorzaakt heeft) in oktober zou worden vervangen...

Al met al geen goede reclame voor Kyona (nee, we zetten niet voor de lol een popup op onze website), maar helaas, het is niet anders.

Mochten er nog vragen/opmerkingen/afblaffingen zijn... spui je gal, ik volg deze thread wel eventjes

[Joost]

Redah namens mij geen flame!

ik weet wat IT is en murphy werkt graag mee aan it problemen.

[Redah]

Redah namens mij geen flame!

ik weet wat IT is en murphy werkt graag mee aan it problemen.

Zeg ik ook niet En inderdaad, Murphy kan ik wel afschieten nu. Maar, ik voelde me even genoodzaakt om onze kant van de zaak even toe te lichten, daar Edwin het wel heel erg eenvoudig voorstelt zonder de achterliggende informatie te hebben.

Waarmee ik de boel zeker niet wil goedpraten, dat niet. Sterker nog, er gaat vanmiddag een lading envelopen met excuses de deur uit, en ook daar zijn we niet bepaald trots op...

[2Black]

Ooit, toen ik nog hoofd automatisering ergens was, had ik het lumineuze idee opgevat eens wat echte servers te gaan bestellen.
Dan ga je 2 maanden vergaderen, tekenen, inventariseren, plannen en zien wanneer je dat het beste kunt doen....
Het hele kantoor draaide op een oude aftandse server met een klein raid-array, dus het moest redelijk safe te doen zijn.
Je koopt een prachtig IBM Rack, met 2 forse uitschuifbare zwarte IBM-servers, een 1 Gig Cisco switch met glasvezel verbonden aan de servers, nog 2 Cisco hubs, afstandbestuurbare (zwarte) UPS en je laat het hele kantoor nieuw bekabelen... doet er ook maar gelijk een nieuwe telefooncentrale bij en supersnelle ADSL verbinding en dan dank je bij jezelf..... wat zijn wij goed voorbereid!
Hier kan niets fout aan gaan.

Maar ja.. uiteindelijk moet je dus je oude server down brengen.....en dat is 'ie niet gewend... en dan slaat het hele RAID-array vast.
En kun je dus ineens met 3 man 48 uur achter elkaar door stoempen in de hoop - hoop! - dat het goedkomt.

De moraal van het verhaal.... shit happens! However well you are prepared.

[Edwin]

Redah,
Was niet bedoeld om jou na alle problemen een schop achteraan te geven hoor! begrijp me goed

Ik schreef ook niet voor niets:
Dan ligt het probleem in ieder geval niet alleen bij een stroomstoring, maar is er iets anders kapot gegaan (mogelijk door die stroomstoring).

Servers komen vrijwel nooit zonder stroom te zitten door een probleem in het datacenter, die hebben ook gewoon een klus generatoren staan die de stroomvoorziening overnemen
Probleem zit hem vrijwel altijd in die dingen zelf, of ergens in een stukje netwerk in het datacenter waardoor de boel offline vliegt.

Weet er alles van met storingen, echt de meest bizarre dingen gaan stuk, en soms ook als gevolg van dat er iets anders kapot is gegaan.
Zo hebben we wel eens een probleem gehad met 2 netwerkkaarten tegelijk, beide gingen op hetzelfde moment kapot.
Zo ongeveer gelijk daarna ook nog een harddisk, maar dat maakte niet heel veel uit voor alle data omdat je met een raid setup werkt.
Uiteindelijk bleek het probleem in het moederbord te zitten, was gewoon versleten en gaf problemen
Dus dat was toen ook heel even downtime, maar het duurde toen niet heel lang, even andere netwerkkaart erin zetten en toen de website's naar een andere webserver overgezet.

Het kan natuurlijk nooit geen kwaad dat je met de overige servers genoeg capaciteit en mogelijkheden hebt om alles over te kunnen nemen als een van de servers down gaat.
Komt ook vaak voor bij hosting bedrijven dat ze gewoon een 'extra' server hebben staan op locatie, je zet alle bestanden over, zorgt dat de server het goede ip adres krijgt en voila, alles staat weer online.

Dat bij jullie ook nog eens het probleem kwam dat je de backup niet kon terugzetten is erg vervelend natuurlijk en dat komt er ook nog eens bij met de rest van de problemen.
Het had mogelijk voorkomen kunnen worden door te zorgen dat de stoomvoorziening beveiligd is tegen pieken etc. maarja nu kun jij natuurlijk zeggen dat zoiets achteraf zeggen wel erg makkelijk is (en dat is het natuurlijk ook), maar ik ben een beetje van mening dat vooruit denken ook geen kwaad kan en dat je niet alleen maar actie moet ondernemen op het moment dat er iets goed fout is gegaan.

Het is gewoon een ontzettend ongelukkige samenloop van omstandigheden geweest allemaal, maar jouw uitleg geeft wel een hoop meer duidelijkheid dat de term 'stoomstoring'
Succes in ieder geval nog met alles in orde krijgen met de nieuwe server!

[Joost]

mooiste is toch wel een provider die dicht bij zijn klanten staat.
Bedoel welke provider logt er in op het forum van een klant. om een berichtje achter te laten.

[Rio97]

mooiste is toch wel een provider die dicht bij zijn klanten staat.
Bedoel welke provider logt er in op het forum van een klant. om een berichtje achter te laten.

Dat vind ik nou ook!
Als eenvoudige bouwkundige begrijp ik er niks van waar het over gaat...
Maar zie wel een echte vent die zijn verantwoordelijkheid neemt

En het is nog steeds een stuk sneller dan andere fora waar ik wel's kom!

[citro-power]

Dat vind ik nou ook!
Als eenvoudige bouwkundige begrijp ik er niks van waar het over gaat...
Maar zie wel een echte vent die zijn verantwoordelijkheid neemt

En het is nog steeds een stuk sneller dan andere fora waar ik wel's kom!

Daar ben ik het mee eens. En ik ben ook een bouwkundige die van bovenstaande teksten totaal niks begrijpt.