Tietokantapalvelimen räjähdys 04/2017 tilannetietoa

Ylläpidon tiedoituksia ja höpötystä sivustoa koskien
Avatar
haksu10
Viestit: 3071
Liittynyt: Ke 20.12.2006 19:22
Paikkakunta: Karkku (Sastamala)
Viesti:

Tietokantapalvelimen räjähdys 04/2017 tilannetietoa

Viesti Kirjoittaja haksu10 » La 22.04.2017 15:23

Hei,

pistänpäs tämän ketjun nyt avoimeksi niin voin tiedotella mitä tapahtuu jne.

Toisen tietokantapalvelimen kaksi levyä oli räjähtänyt tuossa 19.4. ja pistettiin levyistä tarjouspyyntö ja kaiken piti olla kunnossa. Tällöin tehtiin myös varmuuskopiot normaalisti varmuuskopioimattomasta datasta eli kätköistä ja lokeista. Nämä on palautettavissa geocaching.com:sta joten datamäärän järjettömästä koosta johtuen ei omaa varmuuskopiota näistä olla tehty. Varmuuskopioinnissa oli ongelmia mutta lopulta kaikki oli saatu talteen (tai näin luultiin).

Illan mittaa näkyi tilastoissa nollalukemia mutta ne selittyi käyttökatkoksella. Myös tietokantapalvelimen yhteyksien yskiminen vaikutti johtuvan vain siitä, että joutui tositoimiin. Yön mittaa kuitenkin alkoi huomaamaan, että nollalukemat eivät ole laskemassa vaan päinvastoin nousussa. Niinpä seuraavalle päivälle oli tiedossa tilanteen selvitys.

20.4. sitten alettiin etsimään vikaa. Tietokanta kaatui satunnaisesti yleensä kun kellonaikojen minuutit olivat 45 tai 46, joten tunnin välein saatiin uutta tietoa talteen ja kaikin keinoin metsästettiin mitä tapahtuu. Mutta kaikki näytti olevan kunnossa eikä laajoistakaan lokitiedoista löytynyt sellaista käskyä millä olisi saatu itse kaadettua tietokanta. Päivän jo kääntyessä iltaan viimein selvisi, että loggaustekstit sisältävän tietokantataulun käsittely teki kaatumisen.

Vieläkään ei ollut hätää, sen kun taulu vain pois ja luoden uusi varmuuskopiosta tilalle. Mutta sitten selvisi, että homma ei toimikaan: kyseistä tietokantataulua ei saanut käsiteltyä tai tuhottua, kaikki yritykset johtivat tietokannan kaatumiseen. Yritysten myötä sitten lähti koko sivusto romahtamaan ja lopulta oli pakko tehdä raskas päätös, että sivut on pakko pistää kiinni jotta tietokantapalvelimen saa lepotilaan.

Illan myötä Suomesta onneksi löytyi kolme palvelimeen käyvää kovalevyä ja perjantaina 21.4. sitten heti aamusta niiden ostosta oli sovittu ja kuriirikuljetus hankittu, levyt olivat saapumassa illalla klo 22 Tampereelle. Odotusaikana mm. otettiin vanhasta tietokantapalvelimesta täydellinen image mikä pystytettiin uudelle palvelimelle, mutta sitä ei millään keinoin saanut toimimaan vaan käyttäytyi kuten vanhakin. Tässä selvisi lopullisesti mitä kaikkea oli tapahtunut, eli kätködataa olikin kirjoittunut levylle tiedostojen päälle.

Lopulta oli pakko jäädä odottamaan uusia levyjä koska se oli ainoa jäljellä oleva keino selvitä ilman, että täytyy rakentaa uusi palvelin nollista lähtien. Iitayöstä levyt sitten saapuivat ja palvelin sai sitten luotua levyjärjestelmän uusiksi juuri kuten toivottiin ja odotetut virheilmoitukset olivat oikeita ja vahvistivat käsityksen kaikesta tapahtuneesta.

Tämän jälkeen sitten pistettiin kanta tyhjäksi ja palautettiin sinne ensin normaalisti varmuuskopioitu data. Sitten perään kätkö- ja lokidata siltä osin, mitä oltiin saatu siitä talteen niin kaikkea ei tarvitse odottaa geocaching.com:sta. Kadoksiin jäi osa loggausteksteistä ja niitä virtaa sisään geocaching.com:sta. Viimeisimmän kolmen kuukauden lokien tekstit saapunevat viikonlopun aikana mutta sitä vanhempia valitettavasti täytyy odotella todennäköisesti pahimmillaan lähes viikon.

Jotain sentään menetettiin: Suomessa liikkuvien tai käyneiden reissaajien (tb:t ja geokolikot) tietokantataulu ei kuulunutkaan normaalisti varmuuskopioitaviin (en ollut tajunnut että siellä on myös historiadataa) eikä sitä enää saanut mukaan hätävarmuuskopioon. Tämä oikeastaan oli vain hyvä koska tauluun oli kertynyt 10 vuoden aikana niin paljon dataa että sivuston reissaajia esittävä osuus oli niin jumissa että on ollut mietinnässä poistaa se kokoaan. Suurin osa tallennetuista reissaajista kuitenkin on jo aikapäiviä sitten kadonnut. Todennäköisesti muutankin tuota siten että esittää Suomessa lähiaikoina liikkuneita reissaajia ja vanhempia poistuu sieltä automaattisesti.

Maanantaina on luvassa vielä lisää levynvaihtoa koska tietokantapalvelin alustavasti varottelee parista muustakin levystä. Mutta vaihto tapahtuu lennossa eli mitään katkoksia ei ole tiedossa. Tilaillaan myös lisää levyjä ulkomailta kun tämä palvelin jäänee jatkossakin käyttöön. Käymme nyt kuitenkin läpi koko taktisen suunnitelman eli miten varmistaa, ettei tätä ikinä enää toistu. Todennäköisesti siirrymme täysin ylläpidettyihin ja valvoittuihin vuokrapalvelimiin, mahdollisesti tehdään myös pilvipalveluun varajärjestelmä jne.

Mutta tässä "pieni" sepustus asiasta. Lisäilen ketjuun infoa sitä mukaa kuin tulee jotain tiedotettavaa. Mikäli silmään osuu joku ongelman kestoaikana julkaistu kätkö, mikä puuttuu Geocache.fi:stä, voi pistää sanaa koska välttämättä en saanut kaikkia uusia kätköjä poimittua mukaan.
7.7.2018 jälkeen kirjoittamani viestit olen kirjoittanut yksityishenkilönä ja kätköilijänä "haksu10", en sivustoon liittyvänä taikka sen ylläpitäjänä.
Kyseistä päivämäärää edeltävät viestit voivat olla sivustoon liittyviä ylläpidollisiakin viestejä.

Avatar
haksu10
Viestit: 3071
Liittynyt: Ke 20.12.2006 19:22
Paikkakunta: Karkku (Sastamala)
Viesti:

Re: Tietokantapalvelimen räjähdys 04/2017 tilannetietoa

Viesti Kirjoittaja haksu10 » La 22.04.2017 22:05

* Kännyhäly nyt käytössä, näyttäisi toimivan kaikki sen osalta.

* Kaikille ennen katkoa jäsenyyden hankkineille lisätty 5 päivää jäsenyyteen hyvittämään katkoksen aikana menetetyt päivät.
7.7.2018 jälkeen kirjoittamani viestit olen kirjoittanut yksityishenkilönä ja kätköilijänä "haksu10", en sivustoon liittyvänä taikka sen ylläpitäjänä.
Kyseistä päivämäärää edeltävät viestit voivat olla sivustoon liittyviä ylläpidollisiakin viestejä.

Avatar
tsahkali
Viestit: 328
Liittynyt: Ti 04.11.2014 11:06

Re: Tietokantapalvelimen räjähdys 04/2017 tilannetietoa

Viesti Kirjoittaja tsahkali » Su 23.04.2017 22:44

Joillain nämä harrastukset on aika kokonaisvaltaisia.... :D

Avatar
haksu10
Viestit: 3071
Liittynyt: Ke 20.12.2006 19:22
Paikkakunta: Karkku (Sastamala)
Viesti:

Re: Tietokantapalvelimen räjähdys 04/2017 tilannetietoa

Viesti Kirjoittaja haksu10 » Pe 28.04.2017 3:46

Vuorossa tilannetiedote.

Perjantain aikana sivustolta todennäköisesti poistuu "Sivusto on toipumassa tietokantapalvelimen hajoamisesta!" -ilmoitus. Tässä tuli vielä loppuvaiheen ylläri kun kannasta löytyi vajaa 700 lokia mitkä olivat ulkomaisista kätköistä joiden waypoint on 3- tai 4-merkkinen (GCD, GC5C jne.), kaikki kellonaikana 20.4.2017 klo 20:00. Tietokanta lienee syönyt ulos antamistaan waypointeista merkkejä ja muut härvelit ovat sitten lähteneet keräämään dataa päättömästi.

Mutta nyt pitäisi olla Suomen lokit ajan tasalla ja kaikkiin löytyä lokitekstitkin. Mahdollista toki on että jotain yksittäisiä lokeja puuttuu koska tämän viikon on ollut käynnissä 8 ylimääräistä härveliä mitkä kaikki ovat latasivat dataa niin nopeasti kuin pystyivät, lataustahtia rajoittavat odotusajat ohitettuina. Niinpä on voinut välillä limiitit paukkua geocaching.com:n päässä tässä datanraapimisoperaatiossa.

Ulkomaanloggauksia härvelit tutkivat ja paikkailevat kasaan vielä pitkään mutta niistäkin teoriassa pitäisi olla kaikki tilastojen laskentaan tarvittava koossa. Niinpä käyttäjien tilastot ehkäpä alkavat olemaan kohdillaan mutta ei kannata nostaa kovaa meteliä mikäli näin ei ole. Lokitietoja sisältävissä tietokantatauluissa on vielä pientä heittoa määrissä mikä voi selittyä kesken olevalla ulkomaanloggausten käsittelyllä. Mutta myös uusia yllätyksiä voi vielä löytyä ja tutkin tietoja nyt kun data alkaa olemaan sen verran täydellistä että käsipelillä voi tutkia mistä löytyy mitäkin ja mitä puutoksia on.

Pahoittelut vielä kerran tästä katastrofista!
7.7.2018 jälkeen kirjoittamani viestit olen kirjoittanut yksityishenkilönä ja kätköilijänä "haksu10", en sivustoon liittyvänä taikka sen ylläpitäjänä.
Kyseistä päivämäärää edeltävät viestit voivat olla sivustoon liittyviä ylläpidollisiakin viestejä.

Vastaa Viestiin

Palaa sivulle “Ylläpidon tiedotteet”