Blog: Ontwikkeling - Serveronderhoud

Vanavond rond de klok van 0:00 gaan we beginnen met onderhoud aan de Techzine-servers. We gaan dit in 2 fases doen waarvan deel 1 vanavond is, deel 2 is binnenkort, exacte datum van deel 2 is nog onbekend.

Zoals sommigen van jullie al gemerkt hadden was er afgelopen zondag op maandagnacht ook wat onderhoud gedaan wat leidde tot traagheid op Techzine. Dit had te maken met het hernummeren van wat IP-adressen binnen het Dolphin-IS-netwerk.

De grootste klus vanavond zal zijn de data verkassen van de 3 huidige servers naar 3 nieuwe servers, hierbij veranderen ook de IP-adressen van Techzine, als het goed is merken jullie daar verder niets van.

Als alles goed gaat draait Techzine vanaf morgen direct onder de vleugel van Dolphin-IS en niet meer bij Leaseweb.

Uiteraard zijn de nieuwe servers stukken sneller en een voorbereiding op wat de toekomst brengen zal.

Mochten er nog vragen zijn kan je deze in de reacties stellen, mocht ik nog wat te melden hebben met betrekking tot het onderhoud zal ik dit artikel updaten.

Beste leden,

Op dit moment zijn er hardwareproblemen met de forumserver. Er is reeds contact opgenomen met Leaseweb, maar het is op dit moment onduidelijk hoe snel het probleem hersteld zal zijn.

Totdat de problemen zijn opgelost zullen jullie het met de frontpage moeten doen.



12:00 -> Server wordt momenteel vervangen.



05/03/09 9:45 -> Leaseweb is nog steeds bezig met vervangen van de server. Momenteel wordt er geprobeerd de server array uit te lezen omdat het nieuwe systeem niet meer opstart vanwege kernel panics. Inmiddels zijn we wel 3 dagen verder....



05/03/09 12:00 -> Data blijkt corrupt. Het wordt een nieuwe installatie van DEBIAN en backups terugzetten. Kan dus nog wel even duren. Met een beetje geluk werkt alles vanavond weer.



Inmiddels werkt alles weer enkele dagen.

Beste leden en bezoekers van Techzine,

Een aantal van jullie heeft het waarschijnlijk al gemerkt, maar het forum werkt momenteel niet, omdat er problemen zijn met de forumserver. Momenteel wordt bekeken wat de problemen zijn en geprobeerd om het probleem zo snel mogelijk te verhelpen.

Excuses voor het ongemak!

Update 1:
Storing opgelost.

Update 2:
Storing opnieuw opgedoken. Het wordt momenteel onderzocht. - De storing is opgelost.

Met vriendelijke groet,


Wouter Koning
Redacteur Techzine.nl

Beste bezoekers en leden,

Momenteel is er een storing op onze forumserver. Hij heeft nogal wat problemen met de snelheid. Wij vermoeden dat er een hardwareprobleem is en zijn momenteel aan het onderzoeken wat het probleem is en hoe we het zo snel mogelijk kunnen oplossen.

UPDATE: 26-03-2008 0:43
Server is vervangen, momenteel worden alle problemen die zijn opgetreden door de storing opgelost. Hopelijk draait alles dan weer stabiel en als vanouds.

Onze excuses voor het ongemak.

Met vriendelijke groet,

Coen van Eenbergen
Webmaster Techzine

Beste Bezoekers en leden,

Vandaag om 13:15 is er een CoreSwitch down gegaan in Telecity 2, het datacenter waar onder andere Techzine wordt gehost. Door deze crash hadden veel servers geen verbinding meer met het internet waaronder dus Techzine.

Normaal gesproken wordt er dan automatisch een backup CoreSwitch geactiveerd die het werk overneemt waardoor er geen downtime is. Dit is in dit geval ook gebeurd alleen een deel van het netwerk wilde niet over de backup core switch lopen. Uiteraard hebben dit soort zaken hoge prioriteit en wordt er getracht het zo snel mogelijk op te lossen. Inmiddels draait Techzine weer netjes.

Momenteel wordt uitgezocht wat het probleem is met de CoreSwitch en waarom de backup het niet lekker heeft opgepakt om te voorkomen dat dit in de toekomst weer gebeurd.

Totale downtime +- 1 uur.

Met vriendelijke groet,

Coen van Eenbergen
Webmaster Techzine

Beste bezoekers en leden,

Zoals bij vele van jullie reeds bekend en aangekondigd zaten we met een kapotte harddisk te kijken op het forum. Er waren al enkele pogingen ondernomen deze te vervangen en dit was tot op heden niet gelukt om diverse oorzaken. Vanmorgen is de betreffende schijf vervangen die in onze ogen kapot was.

Daarna is een poging gedaan de RAID array opnieuw te syncen en op het moment dat we dat deden schakelde de server zichzelf compleet uit. Dit wijst op andere problemen dan een kapotte schijf. Omdat de oorzaak van het probleem onbekend is hebben we ervoor gekozen om de server preventief te vervangen. De server zal vanmiddag worden vervangen door een andere en daarmee zijn de problemen dan hopelijk opgelost.

Onze excuses voor het ongemak!

met vriendelijke groet,

Coen van Eenbergen
Webmaster Techzine

Beste bezoekers en leden,

Zoals jullie vorige week in deze changelog al hebben kunnen lezen. Waren er vorige week problemen met de processor van de Frontpage server. Deze werd toen veel te warm, de oplossing leek simpel, de koeler vervangen zodat hij weer onder normale temperatuur draait. Dit is dan ook gebeurd en het probleem leek opgelost.

Echter begon hij afgelopen weekend weer meldingen te geven en was het kookpunt bijna bereikt. Daarom is er nu voor gekozen om geen risico meer te nemen met deze server en hem te vervangen. We willen uiteraard wel zoveel mogelijk betrouwbare hardware om de site in de lucht te houden.

Zoals de planning er nu uit ziet wordt de server morgen begin van de middag vervangen. Aangezien wij alle bestanden, configuraties, etc moeten overzetten verwachten wij een downtime van ongeveer 2 a 3 uur. Let wel dit is een schatting, het kan altijd korter of langer uitvallen. We proberen het natuurlijk zo kort mogelijk te houden.

Hopelijk zijn de problemen voor een langere periode dan opgelost. En kunnen we er weer een paar jaar tegenaan. Zodra ik morgen meer informatie heb over het onderhoud en downtime laat ik het jullie natuurlijk in deze changelog weten.

[mb]UPDATE 05-12 17:30:[/mb]
Het was jullie waarschijnlijk al opgevallen dat de site gewoon bereikbaar is geweest vandaag. Dit komt omdat de geplande server vervanging helaas niet door kon gaan. Deze is nu verplaatst naar morgenvroeg.

[mb]UPDATE 06-12: 19:30[/mb]
De server is inmiddels vervangen. We zijn ongeveer 2,5 uur onbereikbaar geweest vanmiddag tussen 12:00 en 14:30.
Momenteel zijn we nog wel bezig met het afconfigureren van de server maar we verwachten geen downtime meer. De nieuwe configuratie van de server is een Dual Xeon 2.0 geworden met 2 SCSI schijven van 73gb in RAID 1 opstelling.

Onze excuses voor het ongemak.

met vriendelijke groet,

Coen van Eenbergen
Webmaster Techzine

Beste Bezoekers en Leden,

Zo heb je een jaar geen storing en draait alles perfect en zo heb je 2 storingen in 1 week tijd. Ik zag zojuist al weer iemand roepen "Ja is weer down.. gebeurd de laatste tijd vrij vaak bij techzine". Even voor de duidelijkheid 2x in een jaar tijd is niet vaak, hooguit 2x teveel

Ok wat is er precies aan het handje. De CPU van de frontpage server die wordt te warm. Waarschijnlijk is de CPU fan kapot. Deze moet dus worden vervangen.

Waarom is het forum dan down?
De engineer die vanmorgen is wezen kijken heeft naar de verkeerde bak gekeken en in plaats van naar de frontpage server naar de forum server staan kijken. Echter heeft hij deze niet goed aangesloten/opgestart want de machine komt niet online.

Dus wat gaat er nu gebeuren?
Er gaat weer een engineer naar toe om de forum server op te starten en te zorgen dat die werkt. Daarna gaat deze kijken waarom de CPU te warm wordt en gaat hij dat probleem ook oplossen.

UPDATE:
De forum server draait sinds 12:00 ongeveer weer. Op de frontpage server is de koeler van de processor vervangen en de hitte problemen zijn opgelost. Tevens zijn alle servers opnieuw gelabeled om te voorkomen dat men de volgende keer aan de verkeerde server gaat rommelen.

met vriendelijke groet,

Coen van Eenbergen
Webmaster Techzine

Beste bezoekers en leden,

UPDATE:
De storing is inmiddels opgelost. Tevens is er meteen op alle Techzine servers onderhoud gepleegd waardoor er een kleine downtime is ontstaan. Inmiddels zijn alle problemen weer opgelost en is alles weer netjes bijgewerkt.

Wij verwachten geen problemen of downtime meer....

Bedankt voor het geduld en het vertrouwen.

groeten,

Coen


Momenteel is er een storing gaande op de forum server van Techzine. Hierdoor kan het zijn dat het forum af en toe slecht bereikbaar is.

Aan het einde van de middag en begin van de avond gaan we verder onderzoeken wat de problemen veroorzaken. Waarschijnlijk is het een hardware defect. Indien wij de oorzaak niet kunnen vinden zullen we overgaan tot het vervangen van de server wat zal resulteren in een downtime. We verwachten binnen enkele uren het forum weer volledig operationeel te hebben.

Indien wij nog nadere informatie hebben zullen wij dit melden in deze changelog.

We houden jullie op de hoogte...

met vriendelijke groet,

Coen van Eenbergen
Webmaster Techzine

Beste leden en bezoekers van Techzine,

Vanmorgen zijn we tot de ontdekking gekomen dat er iets mis is met een van de servers van DIS. Waarschijnlijk is het een gecrashte HD. Dolphin-IS werkt momenteel aan een oplossing. Mogelijk houden de problemen de hele dag aan, maar we hopen dat het na de middag opgelost is.

Door de problemen zijn de Frontpage en de dochtersites van Techzine moeilijk te bereiken, het forum is voorlopig wel goed te bereiken. De ontwikkelingen rond het probleem zullen dan ook daar gemeld worden. Klik op onderstaande link om naar het forum te gaan:
http://forum.techzine.nl/forum/list_messages/75089

Onze excuses voor het ongemak.

Met vriendelijke groet,
Dolphin-IS en Techzine Crew


Inmiddels is de storing weer verholpen, waardoor alle Techzine sites weer online zijn. Af en toe kunnen de pagina's nog wat traag inladen en kunnen er sporadisch SQL errors optreden, maar dat zal in de loop van de dag afnemen.

Bedankt voor het geduld.

Met vriendelijke groet,
Dolphin-IS en Techzine Crew