Recuperare info da arcade database

Tutti le informazioni sugli altri software finiscono qui!

Moderatori: Zak0077, f205v, Moket

Avatar utente
motoschifo
Arcader
Arcader
Messaggi: 386
Iscritto il: 08/12/2015, 9:55
Reputation: 153
Località: Parma
Nazione: Italy
Contatta:

Re: Recuperare info da arcade database

Messaggio da motoschifo » 12/09/2017, 19:13

Ho controllato ed è proprio lei.
La uso in un vecchio programma (Mame Shrink) per salvare i dati in locale e quindi avere un serializer rapido, ed anche su file enormi va molto bene.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Tempest ›Arkanoid
Flipper ›HighSpeed Wishlist ›DoctorWho ›MedievalMadness ›HighSpeed2 WebArcadeDatabase


Avatar utente
motoschifo
Arcader
Arcader
Messaggi: 386
Iscritto il: 08/12/2015, 9:55
Reputation: 153
Località: Parma
Nazione: Italy
Contatta:

Re: Recuperare info da arcade database

Messaggio da motoschifo » 12/09/2017, 22:48

Intanto ho completato la documentazione in italiano, disponibile qui:
http://adb.arcadeitalia.net/?page=scraper

Ho cercato di mantenere un layout semplice e nessun link visto che probabilmente si farà spesso copia/incolla da quella pagina.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Tempest ›Arkanoid
Flipper ›HighSpeed Wishlist ›DoctorWho ›MedievalMadness ›HighSpeed2 WebArcadeDatabase


Gothrek
Gamer
Gamer
Messaggi: 24
Iscritto il: 31/08/2017, 8:41
Reputation: 0

Re: Recuperare info da arcade database

Messaggio da Gothrek » 13/09/2017, 12:10

motoschifo ha scritto:
12/09/2017, 22:48
Intanto ho completato la documentazione in italiano, disponibile qui:
http://adb.arcadeitalia.net/?page=scraper

Ho cercato di mantenere un layout semplice e nessun link visto che probabilmente si farà spesso copia/incolla da quella pagina.
bene, pagina secondo me molto utile a tanti.

per il json lo ho implementato e va tutto, su 66 elementi come tempo siam li, magari in orario meno "battuto" provo a ridargli in pasto quei 1200 file e vediamo la differenza di tempo.

direi che pulisco un po il codice e pubblico una prima release, se qualcuno ha/avrà voglia di provarla mi darà feedback.


Avatar utente
motoschifo
Arcader
Arcader
Messaggi: 386
Iscritto il: 08/12/2015, 9:55
Reputation: 153
Località: Parma
Nazione: Italy
Contatta:

Re: Recuperare info da arcade database

Messaggio da motoschifo » 13/09/2017, 12:20

Sui tempi credo che l'attesa maggiore sia quello di rete, perchè il server è sotto stress continuamente.
Il tempo di parser json direi che è trascurabile, così come lo era lo split anche se più efficiente, ma parliamo di frazioni di secondo mentre la response magari arriva dopo 10 secondi o anche minuti.
Se comunque vedi che 10 chiamate da 10 elementi sono meglio di una sola da 100, puoi anche spezzare. Io suggerisco di mettere un parametro con il numero massimo, io da ADBTools ho impostato 80 romset oppure 800 caratteri.

Non ho VB installato ma più avanti metterò l'express 2010, eventualmente farò una prova anche io :)

La pagina di help scraper sarà tradotta in inglese.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Tempest ›Arkanoid
Flipper ›HighSpeed Wishlist ›DoctorWho ›MedievalMadness ›HighSpeed2 WebArcadeDatabase


Gothrek
Gamer
Gamer
Messaggi: 24
Iscritto il: 31/08/2017, 8:41
Reputation: 0

Re: Recuperare info da arcade database

Messaggio da Gothrek » 14/09/2017, 9:47

fatti altri test con i 1200, il risparmio è stato notevole, 1 minuto e mezzo in meno :D

ieri ho messo tutto il risultato del programma nella recalbox e ha funzionato benissimo, solo un gioco mi ha dato problemi la descrizione sembrava "impazzita" devo fare analisi.

rendo tuttto un pò più friendly e pubblico.

x vb, ora c'è il 2017 community che ha praticamente tutto.


Avatar utente
motoschifo
Arcader
Arcader
Messaggi: 386
Iscritto il: 08/12/2015, 9:55
Reputation: 153
Località: Parma
Nazione: Italy
Contatta:

Re: Recuperare info da arcade database

Messaggio da motoschifo » 14/09/2017, 10:46

Considera che il server è poco usato, forse per quello la velocità è aumentata.
Si vede che quella modifica ha rotto anche altri scraper... anche se mi sembra strano.

Per la descrizione verifica e poi fammi sapere, potrebbe essere colpa dell'utf-8 che è il formato utilizzato. In ogni caso gli altri dati non dovrebbero risentirne.

Su VB ok ma io ho solo C# 2010 per limiti della macchina utilizzate per lo sviluppo (virtuale e piccola).
Ho scaricato la community 2017 con non poca fatica (ho dovuto fare la iso dal download) e messa su un PC Win10. Quel pc è diventato inutilizzabile ed ha esaurito lo spazio disco.... secondo me in MS stanno peggiorando parecchio i metodi di deploy delle applicazioni, specialmente per chi ha tanti ambienti e vuole mantenerli.
Rifarò la macchina, ma dubito di tenerla con il 2017 perchè sarebbe una licenza sprecata visto che principalmente utilizzo C# 2010 (per scelta e per richieste poi al client che installa i miei programmi).
Ma questi sono discorsi tecnici... giusto così per condividere anche grattacapi quotidiani ;)

Intanto c'è anche la documentazione in inglese. Probabilmente ho sbagliato a scegliere "rate" per "voto" ma pazienza, ormai ciò che è fatto non viene cambiato per evitare incompatibilità.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Tempest ›Arkanoid
Flipper ›HighSpeed Wishlist ›DoctorWho ›MedievalMadness ›HighSpeed2 WebArcadeDatabase


Gothrek
Gamer
Gamer
Messaggi: 24
Iscritto il: 31/08/2017, 8:41
Reputation: 0

Re: Recuperare info da arcade database

Messaggio da Gothrek » 14/09/2017, 12:42

Circa l'ambiente di sviluppo devo dire che lavorandoci cosi frequentemente anche per lavoro "vero" trovo più comodo oggi fare deploy tramite repository online github o altrove, cmq credo sia questione di abitudine.

per il rate/voto non so per me puoi cambiarlo pure lo avevi aggiunto pochi giorni fa, magari metti rating?

tornando ai problemi quotidiani, sviluppare sulla virtuale dovrebbe darti più flessibilità anche se la quantità di strumenti che uso mi portano ad usare la locale per sviluppo e la virtuale per il resto


Avatar utente
motoschifo
Arcader
Arcader
Messaggi: 386
Iscritto il: 08/12/2015, 9:55
Reputation: 153
Località: Parma
Nazione: Italy
Contatta:

Re: Recuperare info da arcade database

Messaggio da motoschifo » 14/09/2017, 13:03

Si credo anche io che dipenda molto dalle abitudini, e soprattutto dal poco tempo a disposizione.
Quando cambio il php del sito, ci metto pochissimo tempo e sono subito pronto per il deploy sapendo esattamente cosa aggiornare.
Quando invece utilizzo C# ci vuole molto di più e se non aggiorno tutto alla fine saltano fuori problemini. Con Java è ancora peggio, meglio non averci a che fare secondo me... almeno a livello aziendale.

Mettiamola così: su php vado al massimo, su C# vado bene se il pc è vecchiotto ma sui nuovi (Win10) c'è sempre qualcosa che non va ad ogni accensione (patch, aggiornamenti del sistema, dell'ide, riavvii, ecc).
Però mi sforzo di usarli perchè in quel modo mi tengo aggiornato, altrimenti avrei buttato Windows già da 15 anni :)

Sui nomi dei campi lascio quelli, evito nuove modifiche tanto poi alla fine è un dettaglio e probabilmente è pure corretto.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Tempest ›Arkanoid
Flipper ›HighSpeed Wishlist ›DoctorWho ›MedievalMadness ›HighSpeed2 WebArcadeDatabase


Rispondi

Chi c’è in linea

Visitano il forum: Nessuno e 1 ospite