Geocache.fi uudistus, ongelmat jne.

[haksu10]

Ei ole ainakaan kahta vuorokautta... odotellaan siisn rauhassa,

Ok, pistän tämän tutkinnan vielä sivuun.

Nyt nuo viiveet saattavat olla suurempia kun en tiedä, miten data virtaa. Siksi parin vuorokauden viivekin on mahdollista koska esim. lokien ajantasaisuuksissa näkyy 1,5 vuorokauden viiveitä (joskaan en tiedä onko tieto oikea).

[Pele53]

Jippii hyvältä näyttää!!!
No olihan niitä löytöjä aika pötkö, mutta kun on niin vaikeaa ajaa ohi.
Nyt pukkas rivejä ja lisää ja aina vaan lisää. Koko listan ajo meni nätisti läpi.
Tilastotkin päivittyivät jo osittain, mutta nukutaan yön yli niin sitten tilastotkin ovat varmasti lähempänä totuutta.

KIITOS haksu vikkelästä toiminnasta

Kokeilin ulkomaanlöytö juttua mutta pukkaa seuraavanlaista ilmoitusta.

Fatal error: Allowed memory size of 50331648 bytes exhausted (tried to allocate 20 bytes) in /www/gcfi/html/user/access/api.php on line 76

Pele53

MIKSI SINÄ RIKOIT SEN? MIKSI?

Ei saa kätköillä tuolla tahdilla, sen sijaan kannattaa vaikkapa keskustelualueella ottaa kantaa siihen, saako FTF:n kirjata jos löydön tekee ledilampun sijaan kynttilän valossa!!!

Tuo uusi härveli ei pystynyt käsittelemään sitä datamäärää mitä sinun löydöistäsi kuukauden mittaisesta pätkästä gc.comin api tuuppasi. Eipä siinä sitten auttanut mikään muu kuin tarttua näppäimistöön ja hakata sillä päätään... eikun hakata näppäimistöä ja kirjoittaa koko härveli uusiksi.

Nyt pitäisi olla muistinkäyttöongelmat kokonaan poissa ja samalla ollaan taas tilanteessa että kaikki bugihavainnot sun muut nollaantuu, ts. uusia bugeja lienee taas roppakaupalla tarjolla.

Pele53:lle tiedoksi, että ajoin koko kätköilyhistoriasi läpi joten nyt on lokit ajan tasalla. Täytyy toki kiittää runsaasta kätköilystä joka tämän ongelman sai esiin jo tässä vaiheessa sekä bugiraportista.

[haksu10]

Jippii hyvältä näyttää!!!
No olihan niitä löytöjä aika pötkö, mutta kun on niin vaikeaa ajaa ohi.
Nyt pukkas rivejä ja lisää ja aina vaan lisää. Koko listan ajo meni nätisti läpi.
Tilastotkin päivittyivät jo osittain, mutta nukutaan yön yli niin sitten tilastotkin ovat varmasti lähempänä totuutta.

KIITOS haksu vikkelästä toiminnasta

Kiitokset kiitoksesta!

Koska tarjosit hyvän tilaisuuden valvottua testiä varten niin nappasin ensin tilastosi talteen, ajoin käyttäjätilastoinnin osaltasi sekä vielä ulkomaankätköjen lataamisen, ja kas, tallessa olleisiin verrattuna tilastosi näyttävät paljon hienommilta ja virstanpylväskuvaankin tuli kätköjen nimet eli toivottavasti ainakin melko lähelle oikeaa olivat kuvat menneet

Tämän myötä kävi myös ilmi, että ajastettu ulkomaankätköjen lataus, 50 kätköä / 5 minuuttia, oli aivan liian vähän kun sisään tuleekin ulkomaanlöytöjackpot. Pistin nyt tuo ajatuksen joka minuutti tapahtuvaksi joten saa sentään 3000 kätköä tunnissa imettyä. Tarvittaessa täytyy sitten pistää vielä lisää mutta kokeillaan nyt näin.

Ulkomaankätköjä muuten on jo 32554 tuolla ulkomaatietokannassa joten melkoisesti väki on ulkomaillakin kätköillyt.

(Eih, mun piti edes tänään pitää vapaapäivä... miten tässä näin kävi, 4 tuntia / arkipäivä - korvauksella teen töitä 16 tuntia 7 päivänä viikossa... älkää koskaan ajatelko koodarin / yksityisyrittäjän uraa... nooh, uravalinnoissa voi aina tehdä fataalivirheitä

[Seq]

Jippii hyvältä näyttää!!!
No olihan niitä löytöjä aika pötkö, mutta kun on niin vaikeaa ajaa ohi.
Nyt pukkas rivejä ja lisää ja aina vaan lisää. Koko listan ajo meni nätisti läpi.
Tilastotkin päivittyivät jo osittain, mutta nukutaan yön yli niin sitten tilastotkin ovat varmasti lähempänä totuutta.

KIITOS haksu vikkelästä toiminnasta

Kiitokset kiitoksesta!

Koska tarjosit hyvän tilaisuuden valvottua testiä varten niin nappasin ensin tilastosi talteen, ajoin käyttäjätilastoinnin osaltasi sekä vielä ulkomaankätköjen lataamisen, ja kas, tallessa olleisiin verrattuna tilastosi näyttävät paljon hienommilta ja virstanpylväskuvaankin tuli kätköjen nimet eli toivottavasti ainakin melko lähelle oikeaa olivat kuvat menneet

Tämän myötä kävi myös ilmi, että ajastettu ulkomaankätköjen lataus, 50 kätköä / 5 minuuttia, oli aivan liian vähän kun sisään tuleekin ulkomaanlöytöjackpot. Pistin nyt tuo ajatuksen joka minuutti tapahtuvaksi joten saa sentään 3000 kätköä tunnissa imettyä. Tarvittaessa täytyy sitten pistää vielä lisää mutta kokeillaan nyt näin.

Ulkomaankätköjä muuten on jo 32554 tuolla ulkomaatietokannassa joten melkoisesti väki on ulkomaillakin kätköillyt.

(Eih, mun piti edes tänään pitää vapaapäivä... miten tässä näin kävi, 4 tuntia / arkipäivä - korvauksella teen töitä 16 tuntia 7 päivänä viikossa... älkää koskaan ajatelko koodarin / yksityisyrittäjän uraa... nooh, uravalinnoissa voi aina tehdä fataalivirheitä

Se on se Luterilainen työmoraali...

[Tltl]

Ulkomaankätköjen latauskäsittelyhärveli on nyt valmis ja tältä osin tilanne normalisoituu. Nyt voikin sitten kertoa jos jossain sivustolla on ongelmia ulkomaanlöytöjen tai -kätköjen suhteen.

Upea uusi systeemi, aivan loistavaa, ettei enää tarvitse pelleillä My Finds PQ:n kanssa.

Mutta. Ulkomaanlöydöissä on ongelmia Wherigojen osalta.

Lokiseurannassa ulkomaan Wherigojen logokuva on rikki (http://www.geocache.fi/images/lokipic/).

Lisäksi tilastot ovat rikki/puutteellisia ulkomaan Wherigojen osalta.

Tämä sanoo Wherigo-löytöjeni määräksi 18, pitäisi olla 77. Ulkomaan Wherigo-löydöt puuttuu.
http://www.geocache.fi/players/finlogs. ... ku=#result

Tässä on yhteensä 1792 löytöä (pitäisi olla 1851), puuttuvat 59 ovat ulkomaan Wherigoja, 58 vuodelta 2012 ja 1 vuodelta 2011.
http://www.geocache.fi/stat/yeartype.ph ... erid=19942

Tässä on Vaikeus, Maasto ja Koko -kohdissa yhteensä oikea 1851 löytöä. Kohdassa Tyyppi on yhteensä 1791 (pitäisi olla 1851) eli puuttuu 60 löytöä. Wherigoja on kuvassa 18 (pitäisi olla 77), niitä siis puuttuu 59. Viimeinen puuttuva on 1 Mega-event.
http://www.geocache.fi/stat/stat.php?la=&userid=19942

Tästä puuttuu kaikki ulkomaan Wherigo-löydöt.
http://www.geocache.fi/stat/challenge.p ... achetype=9

Tästä puuttuu kaikki ulkomaan Wherigo-löydöt.
http://www.geocache.fi/stat/besttype.ph ... &year=2012

Tämä antaa puppua: Warning: array_multisort() [function.array-multisort]: Argument #1 is expected to be an array or a sort flag in /www/gcfi/html/stat/aakkos.php on line 95 jne.
http://www.geocache.fi/stat/aakkos.php? ... pe=9&fud=1

Tästä puutttuu ulkomaan wherigoista logokuvat. (Kohdat i, 1, 3.)
http://www.geocache.fi/stat/aakkos.php? ... &year=2012

Tästä puutttuu ulkomaan wherigoista logokuvat. (Esim. kohta 1851.)
http://www.geocache.fi/stat/virsta.php? ... interval=1

Tämä näyttää oikein mukaanlukien ulkomaan Wherigo-löydöt:
http://www.geocache.fi/stat/hiddenday.p ... erid=19942
Mutta tästä puuttuu ulkomaan Wherigo-löydöt.
http://www.geocache.fi/stat/hiddenday.p ... achetype=9


Lisäksi pari muuta ongelmaa:

Lokiseurannassa arkistoiduista ulkomaankätköistä (kaikki kätkötyypit) puuttuu etäisyystieto valitusta sijainnista.

Tämä ei liene ajantasalla. Esim. pelkästään minulla on 207 löytöä Japanissa, tämän mukaan Japanissa on yhteensä vain 115 loggausta.
http://www.geocache.fi/players/worldlist.php

[sutta]

Tuo worldlist on vallan mielenkiintoinen, Norjassa on käynyt 344 kätköilijää ja Ruotsissa 5?

[haksu10]

Tltl:n viesti osoittaa hyvin että ongelmia on paljon vielä jälkellä, kiitos hyvästä ja seikkaperäisestä raportista.

Osittain ongelmat koskevat koko geocache.fi:tä; esimerkiksi olemassaoleva (mutta ei vielä käytössä oleva) uusi kätkökanta rakentuu samalla periaatteella kuin ulkomaankätköjen tiedot. Geocaching.com on suuressa viisaudessaan tehnyt esim. muutoksen, että wherigo-kätkön tyyppi "Wherigo Cache" onkin nyt "Wherigo Caches" ja tämä toki täytyy huomioida myös Suomen kätkökannan käsittelyssä. Tämä myös selittää ongelmat wherigon suhteen jne.



Mutta muutoksia siis tapahtuu täällä sitä tahtia kuin vain enää jaksaa tehdä, tuntuu että olen sadan hehtaarin suon keskellä rämpimässä eteenpäin, ympärillä vain suuria rupisammakoita jotka ivallisesti kvaakkuvat minulle... hitaasti, hitaasti uppoan suonsilmään... mutta ehkä minä vielä tästäkin silmästä ylös nousen ja raahaudun eteenpäin kunnes seuraava tulee eteen... ja sammakot, ne rupisammakot, ne vain jatkavat ilkkuvaa kurnutustaan...

[haksu10]

Materiaalin lataus- ja käsittelyjärjestelmän uudet versiot ovat nyt käytössä ja toivottavasti korjaavat tiedossa olleita ongelmia; mahdollista toki että tekevät niitä vain lisää

Uusissa versioissa on huomioitu mm. eri apiversioiden antamien kätkötyyppien erot
Unknown (Mystery) Cache / Unknown Cache
Wherigo Caches / Wherigo Cache

Lisäksi tehty sovitukset Arkistoi, Palautti arkistosta sekä Tarkastajan merkintä -loggauksille, joiden loggaustyypin numero on vaihtunut joskus menneisyydessä satunnaisena päivämääränä. Pikattina yksityiskohtana mainittakoon että Arkistoi -loggauksen numeron vaihtuessa myös loggausnimike on muuttunut; aiemmin se on ollut "permanently archived" kuten tämä esimerkkiloki osoittaa

Sitten uutta tietoa osittain jo käytössä olevasta datankeräysjärjestelmästä.

Sivustolla ja kätkölistauksissa olevia lokidatan ajantasaisuustietoja ei kannata tällä hetkellä tuijottaa; ne näyttävät esim. sivuston tilastosivulla tällä hetkellä:
Lokidatan ero reaaliaikaiseen
Keskiarvo 12 h 28 min
Vanhin tieto 26 h 06 min

Tämä on toisaalta totuus mutta toisaalta vain osatotuus. Uusi järjestelmä on aiempaa älykkäämpi ja toimii seuraavasti:
- Kaikkea dataa ladataan entiseen tapaan koko ajan päättymättömänä kierroksena (aina vanhin päivittäen)
- Aina kun kätködataa lataava prosessi lataa jonkun kätkön datan, samalla ladataan myös kätkön uusimmat lokit ja päivitetään kantaan. Kierroksen keston (kun kaikki on käyty läpi) tavoite on olla reippaasti alle puoli vuorokautta.
- Toinen prosessi lataa pelkästään lokeja, mutta ladaten aina kaikki kätkön lokit. Tämä syväluotaus on raskas ja hidas prosessi ja kaikkien Suomen kätköjen läpikäynti voikin viedä reippaasti yli vuorokauden; järjellinen tavoite on alle 2 vuorokautta.

Nyt testissä on kätködataa ladatessa 10 viimeisimmän lokin mukaanotto jotta näen mihin läpilatauskierroksen suoritusaika asettuu. Käytettäessä 30 viimeisintä lokia aika oli 10 tunnin tietämillä, eli vanhin kätködata oli 10 tuntia vanhaa. Tuloksien perusteella teen päätöksiä mikä tulee olemaan käsitteen "uudet" lokimäärä ja tarvitseeko lisäprosesseja rinnalla, laskeako syväluotauksen tavoiteaikaa uusien tulon nopeuttamiseksi, mitä palvelinkuormitukset sanovat jne.

Kokonaisuutena tarkoitus on että lokit tulevat yleisesti ottaen paljon entistä nopeammin mukaan palveluun. Käytännössä pieni osa lokeista toki tulee tästä kärsimään, eli ne jotka logataan sen verran jälkikäteen etteivät osu "uudet" -joukkoon. Myös todella runsaasti loggauksia keräävät kätköt voivat olla sellaisia missä loki tulee sitten jälkijunassa, tosin tähän ainakin jotain logiikoita voi kehittää sitten kun sivusto on muuten kasassa ja kaikki pyörii normaalisti. Ensinnä tulee mieleen tehostettu syväluotaus miiteille tapahtumapäivästä viikko eteenpäin mutta luonnollisesti hienompiakin logiikoita lokeja/vuorokausi -periaatteella pystyy rakentamaan.

Mutta katsotaan nyt minkälainen paketti tästä tulee. Kuitenkin siis geocache.fi:n omien kätkötietosivujen alaosassa olevat tiedot kannattaa mieltää seuraavasti:
Kätködata ladattu: => Kätködata sekä viimeisimmät lokit ladattu
Lokidata ladattu: => Kaikki kätkön lokit ladattu

PS: kun kukaan ei ole jaksanut lukea loppuun niin mainittakoon, että viikonloppuna kaikki Suomen kätköt menivät uuden paikkakuntatarkastajan läpi ja ovat nyt listauksen koordinaattien määrittämällä paikkakunnalla (poislukien ne 2 kätköä, jotka ovat Ruotsin maaperällä sekä 1 Norjan maaperällä oleva, ne ovat saaneet tiedokseen lähimmän Suomen paikkakunnan). Samalla kätköt saivat paikkakuntapohjaisen kunnon maakuntatiedon joten Itä-Uusimaa ja jopa Murmanskin maakunta sun muut ovat nyt poissa...

Uusille kätköille en vielä ole ehtinyt rakentaa julkaisuvaiheen paikkakuntatarkastusta koska se täytyy toteuttaa turvallisemmin ja mahdolliset ongelmatilanteet ohittavasti. Paikkakuntakiroilua ja "tää on väärässä kunnassa" -mietintää sun muuta voidaan sitten tän nykyprojektin valmistuttua jatkaa... kestäkää, pliis, tää nyt siihen asti...

[juhanili]

Loggausmäärät -tilastossa http://www.geocache.fi/players/finlogs.php ei näytä päivittyvän ulkomaat -sarake. Ei maiden lukumäärä eikä uudet maat ilmesty listaan uudistuksen jälkeen tulleista maista. Kaikissa muissa tilastoissa näyttäisi olevan oikein. Itselläni puuttuu uudet Espanja ja Gibraltar ja muillakin tietämilläni matkoilla olleilla sama puute.

[haksu10]

Loggausmäärät -tilastossa http://www.geocache.fi/players/finlogs.php ei näytä päivittyvän ulkomaat -sarake. Ei maiden lukumäärä eikä uudet maat ilmesty listaan uudistuksen jälkeen tulleista maista. Kaikissa muissa tilastoissa näyttäisi olevan oikein. Itselläni puuttuu uudet Espanja ja Gibraltar ja muillakin tietämilläni matkoilla olleilla sama puute.

Tältä osin tilanne ehkä nyt hieman parempi; säädin ja käynnistin taas lisää laskentaosuuksia. Vielä on paljon sellaista mikä ei välttämättä päivity koska kaikki ylläpitohärpäkkeet eivät ole läpikäytynä.

[haksu10]

Ulkomaankätköjen tietojen tulossa palveluun oli ongelma, joka on luonnollista kun on haksu10-koodista kyse.

Nyt korjattu ja härveli koittaa imeä reilu 5000 ulkomaankätköä mahdollisimman nopeasti sisäänsä, kova imuääni vaan kuuluu...

[stebu]

Yritn muodostaa "Loggausmäärät kätkötietoineen [CSV] Laaja taulukko: Löytöloggaukset " .
Tulokseksi sain tiedoston: stebu_2012-10-17.csv
jonka sisältö on:

Koodi: Valitse kaikki

<br />
<b>Warning</b>:  Invalid argument supplied for foreach() in <b>/www/gcfi/html/stat/generatedataV03.php</b> on line <b>190</b><br />

Ei kiireellistä hoitoa vaativa juttu, kunhan kerron huomioni.

[Maitomies]

huomasimpa tuossa että "Omat kätköt iso"
kuvassa olevat löytömäärät eivät ole päivittyneet vähään aikaan...

[haksu10]

huomasimpa tuossa että "Omat kätköt iso"
kuvassa olevat löytömäärät eivät ole päivittyneet vähään aikaan...

http://www.geocache.fi/bulletin/viewtop ... B6t#p51193

[Maitomies]

huomasimpa tuossa että "Omat kätköt iso"
kuvassa olevat löytömäärät eivät ole päivittyneet vähään aikaan...

http://www.geocache.fi/bulletin/viewtop ... B6t#p51193

Prhna, ... just juur, olihan siellä tuo sama huomio tehty, tsortsit kun en ollu huomannu vaikka näitä säikeitä olenkin silmäillyt ...

[haksu10]

Yritn muodostaa "Loggausmäärät kätkötietoineen [CSV] Laaja taulukko: Löytöloggaukset " .
Tulokseksi sain tiedoston: stebu_2012-10-17.csv
jonka sisältö on:

Koodi: Valitse kaikki

<br />
<b>Warning</b>:  Invalid argument supplied for foreach() in <b>/www/gcfi/html/stat/generatedataV03.php</b> on line <b>190</b><br />

Ei kiireellistä hoitoa vaativa juttu, kunhan kerron huomioni.

Kiitokset huomiosta ja nyt pitäisi toimia ainakin paremmin (tiedä toimiiko oikein mutta... ainakin paremmin

[haksu10]

huomasimpa tuossa että "Omat kätköt iso"
kuvassa olevat löytömäärät eivät ole päivittyneet vähään aikaan...

http://www.geocache.fi/bulletin/viewtop ... B6t#p51193

Prhna, ... just juur, olihan siellä tuo sama huomio tehty, tsortsit kun en ollu huomannu vaikka näitä säikeitä olenkin silmäillyt ...

Näitä sattuu, lienen ainoa joka edes suurinpiirtein tietää mitä tässä ketjussa on höpistynä... kokonaisuus on vaan niin laaja.

[stebu]

Yritn muodostaa "Loggausmäärät kätkötietoineen [CSV] Laaja taulukko: Löytöloggaukset " .
Tulokseksi sain tiedoston: stebu_2012-10-17.csv
jonka sisältö on:

Koodi: Valitse kaikki

<br />
<b>Warning</b>:  Invalid argument supplied for foreach() in <b>/www/gcfi/html/stat/generatedataV03.php</b> on line <b>190</b><br />

Ei kiireellistä hoitoa vaativa juttu, kunhan kerron huomioni.

Kiitokset huomiosta ja nyt pitäisi toimia ainakin paremmin (tiedä toimiiko oikein mutta... ainakin paremmin

Kiitos, nyt toimii. Nyt kun koodi on vielä kirkkaana mielessä (?), niin olisiko mahdollista saada siihen sellainen .CSV, jossa sarakkeiden välimerkkinä onkin 'tab'? Tämä helpottaisi tiedoston lukemista Openofficella ja, muistaakseni, Excelkin sen hallitsisi.
Ehkä tämän voisi tehdä samassa yhteydessä kuin ulkomaisten kätköjen tiedot haetaan myös tuohon tulostukseen.

[Tervas]

Kiitos, nyt toimii. Nyt kun koodi on vielä kirkkaana mielessä (?), niin olisiko mahdollista saada siihen sellainen .CSV, jossa sarakkeiden välimerkkinä onkin 'tab'? Tämä helpottaisi tiedoston lukemista Openofficella ja, muistaakseni, Excelkin sen hallitsisi.
Ehkä tämän voisi tehdä samassa yhteydessä kuin ulkomaisten kätköjen tiedot haetaan myös tuohon tulostukseen.

Siis .TSV eli tab separated, CSV= comma separated. Excelissä yms. voi lukuvaiheessa määritellä mitä erotinta käytetään.
Anteeksi saivarteluni.

[haksu10]

Tähän projektiin tulee parin viikon tms. katkos; katsastusyllätyksen johdosta täytyy vaihtaa projektia.

Mutta kriittisistä ja ketjussa mainitsemattomista asioista voi kertoa, koittakaa kuitenkin olla toistamatta samoja, jos kerrottuja ongelmia jotta pääsen sitten helpommin taas tämän hevosen selkään kun aika on. Kuulolla tämänkin ketjun suhteen kyllä pysyn ja kun saan tilanteeni kuntoon pääsen tähän täydellä painolla panostamaan.