Bow more kirjoitti:Tarkasti en muista mutta 8-9 sanoisin
Äh, sitten en osaa ainakaan vielä sanoa mitään asiaan
Jos olisi ollut joskus ennen klo 07:30 olisi selkeä selitys ollut tarjolla.
Sen toki tiedän että asia liittyy siihen, että yö on suhteellisen lyhyt kun sen aikana pitää ladata järkyttävä määrä dataa Geocaching.com API -dataliitynnästä ja käsitellä se. Pyrkimyksenä on ollut saada kuitenkin kaikki ajan tasalle klo 08:00 mennessä, mutta näin ei sitten olekaan.
Myös sen tiedän että ero johtuu siitä että yön aikana ladataan kätkölogeja ja lasketaan käyttäjän tilastoja. Aamuun mennessä on saatu kaikki lokit ja tällöin sinun löytölokien määrä (eli löydöt ilman Lab cache:ja) on ollut suurempi (4050?) kuin virallinen Geocaching.com -lukema. Koska tässä tapauksessa Geocaching.com -lukeman täytyy loogisesti päätellen olla väärä eli liian pieni, sitä on kasvatettu löytölokien perusteella saatuun määrään. Nämä päivitykset on tehty käyttäjätietokantoihin yleinen sekä tilastonumerot.
Kätköilijät/Loggausmäärät -sivun datamäärästä johtuen sille on oma tilastotietojen yhteenveto -tietokantansa, mikä muodostetaan kerran tunnissa. Tilanteessa, jossa ei vielä ole yön aikana ladattuja käyttäjätietoja ole käsitelty ja viety tilastoihin, päätyy tänne tietokantaan tuo laskennallinen määrä (4050?) sekä tieto siitä, että sinulla on 8 Lab cache -löytöä (joka on tässä vaiheessa vielä edellisen päivän käyttäjätietoihin perustuva).
Näin ollen Kätköilijät/Loggausmäärät -sivulla näkyy tuo laskennallinen (4050?) löytöä ja tieto siitä, että sinulla on 8 Lab cache -löytöä. Nämä ovat siis eri päivien tilanteeseen perustuvat ja tästä johtuen antaa kuvan että nämä Lab cache:t puuttuisivat kokonaislöytömäärästä.
Tilastojen suhteen pitää ymmärtää että käsiteltävänä on lähes 80.000 kätköä, 140.000 käyttäjää ja yli 18 miljoonaa lokia. Tätä datamäärää täytyy ylläpitää ja kasvattaa hitaan ja kohtuullisen paljon turhaakin dataa mukana syöttävän Geocaching.com:n API -dataliitynnän kautta. Samalla täytyy laskea tilastoja, päivittää dataa tietokannasta toiseen jne. Jos data olisikin Geocache.fi:n omaa ei syntyisi tilanteita että eri vaiheessa olevat datatiedot vääristävät tilannetta katsottaessa tietoja sellaisesta osuudesta, minkä sisältö muodostuu usemmasta kuin yhdestä tietokannasta.
Sama tilanne toki toistuu myös jo päivän aikana löytää vaikka 1000 kätköä ja on Lab cache -löytöjä. Tällöin, kun lokeja virtaa sisään, laskennallinen löytömäärä ohittaa edellisenä yönä ladatun virallisen Geocaching.com -löytömäärän ja se muutetaan vastaamaan laskennallista määrää. Lab cache -määrä kun edelleen on olemassa niin vaikuttaa että virallinen Geocaching.com -lukemasta puuttuisi Lab cache:t.
Myös tilanteet, joissa tuo dataliityntä onkin yöllä ongelmissa, aiheuttavat heittoa tilastoihin. Tällöin puhutaan helposti suurta käyttäjämäärää koskevasta vuorokauden mittaisesta heitosta numeroissa. Lisätoimenpiteitä, kuten käyttäjätietoja latauksia, on mahdollista tehdä vain hiljasten käyttötuntien aikana eli aamuyöstä. Vaikka käyttäjien tietojen latauskierroksia tehdään ensimmäisen täyden kierroksen jälkeen neljä lisäkierrosta, joilla yritetään saada aiemmin saamatta jääneiden käyttäjien tiedot, niin pidempikestoinen vika dataliitynnässä tekee yritykset tyhjäksi.
Vaikka nämä kaikki lataus- ja käsittelyrutiinit onkin tarkkaan ajoitettu niin otin riskin ja lisäsin aamulle parit lisäajot, jotka pyrkivät vähentämään aikaa, jolloin Kätköilijät/Loggausmäärät -sivun data on erivaihteista. Toki tässä on riski siitä että muut prosessit pyörivät hitaammin ja niiden ajoajat ylittävätkin aikahaarukat. Tällöin sitten niiden jatkoprosessit eivät saakaan uusinta tietoa ja taas on kaikki pielessä. Mutta riskillä ne laivatkin seilaa, toivotaan että en aja karille
Koitan kuitenkin vielä selvittää myös sitä, miksei tuo klo 08:00 aikaraja olekaan enää toiminut. Mahdollisesti datamäärä on kasvanut sen verran paljon että jo nyt jokin prosessi menee ohi aikahaarukkansa.
Tässä pikainen muutaman sanan selitys asiaan