aku506 kirjoitti:haksu10 kirjoitti:Ensimmäinen versio eri käyttäjille tarjolla olevista palveluista on nyt valmis ja
löytyy täältä
Mahdollisista virheistä, puutteista ja kaikesta muustakin saa kertoa; edes itse en tiedä mitä kaikkea geocache.fi tarjoaakaan...
Ainakin kätkökorit on tarjolla myös ei-sponsoreille.
Kiitokset, niinpäs onkin... tuohan piti olla kaikille premiumeille eikä kaikille sponsoroineille. Nyt korjattu.
Täytyypä samalla kertoa tilannetietoa tämän suursiivouksen tiimoilta.
Vaikka päällisin puolin kaikki näytti toimivan hienosti ennen suursiivouksen aloitusta niin omituiset jämähdykset sivujen avautumisessa kertoivat että jossakin on jotain outoa. Kun pintaa syvemmältä alkoi raapimaan ja tiiviisti seuraamaan tietokannan prosesseja alkoi löytymään selitystä; 2,5 miljoonan loggauksen käsittely oli tietokannalle jo liikaa vaikka systeemissä onkin eriytetty mm. lokien tekstit omaan tauluunsa.
Koitin laiskasti karsia niitä prosesseja mitkä eniten kantaa jumittivat ja parantaa tilannetta joidenkin taulujen tietokantamoottorin vaihdolla. Laiskuudesta oli se hyöty että tämän jälkeen myös vähemmän jumittavat prosessit alkoivat näkymään ja silloin oli selvää että on aika kääriä hihat, ja niinpä suursiivous alkoi.
Koska suuri osa tietokannoista täytyi pistää uusiksi oli matkan varrella hetkiä jolloin geocache.fi lakkasikin vastaamasta tai antoi tietokantayhteyden ongelmaviestin. Näissä oli takana se että suursiivous oli sinänsä jo myöhässä, kun 2,5 miljoonaa riviä sisältäviä tietokantatauluja muokkasi niin tietokanta käytännössä romahti ja samaan aikaan tapahtuneet yksinkertaisetkin kyselyt kestivät kymmeniä sekunteja ja sitten loppuvat jo yhteys"kahvat" tietokantaan.
Kärsivällisesti käyttäjät ovat onneksi asian kestäneet ja voin kertoa ilosanomana että tällä hetkellä ei enää tietokantoihin pitäisi joutua koskemaan. Suursiivous onkin mennyt jo läpi erinäisiä sivuja joiden keskimääräiset latausajat kertoivat tehottomuudesta.
Jopa lokiseuranta, johon en olisi halunnut edes pitkällä tikulla alkaa sorkkimaan, täytyi viimein repiä auki ja kirjoittaa täysin uusiksi. Sen suorituskyky tosin parantui roimasti, entisestä keskimäärin 7 sekunnin suoritusajasta parannnus on huima ja nyt keskiarvo on vain 2.5 sekuntia. Toki monimutkaisemmat haut ottavat keskiarvoa reippaasti enemmän aikaa (joskin paljon vähemmän kuin ennen) mutta tietokantapohjaisesti ei enempää pysty enää nopeutta kasvattamaan - erillisellä indeksoinnilla kylläkin. Tällä hetkellä kuitenkin indeksointitarve kohdistuu tekstihaun palauttamiseen joka on melko korkealla prioriteetilla, mutta itseltäni tältä saralta loppui asiantuntemus kesken joten apuvoimat on hälytetty jo asian kimppuun
Myös datan ajantasaisuus täyttää taas omat kriteerini, eli kaikki
kätködata on reippaasti alle puolen vuorokauden vanhaa. Tietokantojen pölynpyyhinnän tuloksena kun järjestelmään sai niin paljon lisätehoa ettei kuormitusongelmat toistaiseksi vaivaa vaan saa paukuttaa datapyyntöä isoveljen datasykkyrään sitä tahtia että hitaampia hirvittää
Lopuksi vielä liitän listan sivuston keskimääräisestä sivujen muodostusajasta viimeisen kuukauden ajalta. Listassa on jenkkityylinen päivämäärä ja perässä sekuntitieto. Sekuntimäärä perustuu käytännössä kaikkiin varsinaisen sivustopuolen sivupyyntöihin (joita onkin noin 100.000 sivupyyntöä/vrk), vain keskustelualue erillisenä "ulkopuolisena" pakettinaan ja järjestelmän sisäisten sivupyynnöt ovat tilastoinnista poissa.
Kuten numerot kertovat on suorituskyky noussut kiitettävästi ja uskoakseni melko pitkään pääsee nyt nauttimaan entistä nopeammasta sivustosta. Luonnollisesti jossain vaiheessa voin taas kirota hidasta toimintaa mutta tämä suursiivous (joka taustalla vieläkin jatkuu) on ollut niin syvälle kaivautuva että rakenteista on saanut imuroitua pois ne sudenkuopat, mitkä ovat vain odottaneet laukeamistaan datamäärän kasvun myötä.
Niin, ja nyt geocache.fi:n käyttäjät säästävät päivittäin yhteensä yli 100.000 sekuntia sivujen latautumista odottaessaan eli joka päivä säästyy pitkälti yli vuorokausi aikaa muuhun käyttöön - käyttäkäähän aika hyvin
Koodi: Valitse kaikki
2011-08-17 2,22
2011-08-18 2,04
2011-08-19 1,95
2011-08-20 2,21
2011-08-21 2,16
2011-08-22 2,10
2011-08-23 2,27
2011-08-24 2,25
2011-08-25 2,07
2011-08-26 2,20
2011-08-27 2,18
2011-08-28 2,02
2011-08-29 2,02
2011-08-30 2,08
2011-08-31 2,24
2011-09-01 1,85
2011-09-02 1,93
2011-09-03 2,20
2011-09-04 2,11
2011-09-05 1,55
2011-09-06 0,94
2011-09-07 1,08
2011-09-08 1,04
2011-09-09 1,04
2011-09-10 0,72
2011-09-11 0,79
2011-09-12 0,63
2011-09-13 0,67
2011-09-14 0,96
2011-09-15 0,84
2011-09-16 0,61
