Guida ai dati sul Lavoro
Licenza: CC-BY http://www.istat.it/it/istituto-nazionale-di-statistica/attivit%C3%A0/open-data)
Il problema con questo dataset è la Granularità. Non è possibile avere i dati per singola professione ad esempio. Azione : Chiedere a ISTAT di rilasciare dati più granulari per il lavoro https://twitter.com/ghirardinicola/status/582116151217504256
Ci sono altri modi di prendere gli stessi dati, forse con più libertà (Da provare!!!) http://apistat.istat.it/?q=help standard api jsonstat: http://json-stat.org/
Per avere tutti i dataset con tema lavoro: http://apistat.istat.it/?q=getdslist&area=26 Dataset cercati: "Id":12,"Cod":"DCCV_OCCUPATITDE","Desc":"Occupati - dati destagionalizzati" {"Id":244,"Cod":"DCCV_OCCUPATIT","Desc":" Occupati "} Per avere tutte le dimensioni di un dataset http://apistat.istat.it/?q=getdim&dataset=DCCV_OCCUPATIT Da qui si capisce la mancanza di granularità (per le professioni e le aree di mercato ci si ferma al primo livello, molto generico) Esempi di query per estrazione dati raw : Query per professioni nel 2014 nell’agricoltura (tutte le altri dim a totale) http://apistat.istat.it/?q=getdatajson&dataset=DCCV_OCCUPATIT&dim=1,3,28,12,3,18,1,3,23,13,0,3,3,2167 Raw data uploaded at: https://github.com/ghirardinicola/hackLavoro/blob/master/italiaRAW2014soloProfessioni.json
Risultato: Si possono chiedere i dati per professione O per area, non insieme. Forse non li hanno? L’ISTAT non sa quanti ingegneri lavorano nella moda ma solo in quanti lavorano nella moda in italia e quanti ingegneri lavorano????
Per trasformare i dati raw: http://json-stat.org/tools/ https://github.com/badosa/JSON-stat https://pypi.python.org/pypi/pyjstat/ http://rpackages.ianhowson.com/cran/rjstat/man/fromJSONstat.html Ci serve un aiuto da sviluppatori qui per convertirlo in tabellare!!
http://linkedstat.spaziodati.eu/
Lista datasets con nomi: SELECT DISTINCT ?datasetURI ?title FROM http://linkedstat.spaziodati.eu/data WHERE { ?datasetURI rdf:type qb:DataSet ; dcterms:title ?title }
Datasets interessanti: http://linkedstat.spaziodati.eu/dataset/150_244_ANN Occupati - Dati anuali http://linkedstat.spaziodati.eu/dataset/150_244_TRIM Occupati - dati trimestrali http://linkedstat.spaziodati.eu/dataset/150_244_SR Occupati - serie ricostruite
Descrizione dataset:
SELECT DISTINCT ?structureURI FROM http://linkedstat.spaziodati.eu/data WHERE { http://linkedstat.spaziodati.eu/dataset/150_244_ANN qb:structure ?structureURI . }
....
Code Lists: http://linkedstat.spaziodati.eu/code/1.0/CL_PROFESSIONE http://linkedstat.spaziodati.eu/code/1.0/CL_ATECO2007_MERCE
Dall’analisi dei settori si deduce che questo vocabolario non è adatto a descrivere e misurare le attività innovative che spesso sfuggono alle categorizzazioni statiche e aggiornate molto raramente (ultimo aggiornamento 2007). Un esempio? Fablab e coworking hanno grosse difficoltà a trovare la loro posizione!!
Vecchio vocabolario: ISFOL http://fabbisogni.isfol.it/opendata.php
ESCO, the multilingual classification of European Skills, Competences, Qualifications and Occupations. https://ec.europa.eu/esco/download formati download: SKOS, CSV 24 lingue 3 pillars: skills/competences, qualifications, occupations
LINK CON ISCO: http://ec.europa.eu/social/main.jsp?catId=1042&langId=en Fonte: Atlante delle professioni Sorgente: Università di Torino http://www.atlantedelleprofessioni.it
http://excelsior.unioncamere.net/xt/out_gtw_tableChoose_exec.php?Totali=&MRow=sys5_4&VRow=all&MCol=sys2_10&VCol=all&Vari=Ass&MTnav=sys1_4&VTnav=*0100*&MTaff=&VTaff=&Naturale=&SQL=&LRow=CD&LCol=CD&VTnavValues=*0100*0103*0107*0204*0205*0206*0208*0309*0310*0311*0312*0413*0414*0415*0416*0417*0418*0419*0420*&dbname=exc_itassunprofess_201012
Licenza: NO OPEN DATA Azione: Chiedere gli opendata a unioncamere facendo vedere il valore, un esempio di quello che ci si può fare
Cartella risultato scraping : https://drive.google.com/folderview?id=0B3kO2Vt4EfKlfkgtelRyeVp0M3RfakJYcnJxRUNxZDUtclQyS05XXzE4NTFYT2l4WWJwbGs&usp=sharing&tid=0B-zVxuvZcLFDfkUyY2ZqUDdEbkRKS014Mk5OUHBpcEw2ZGVzQlM2WVRHcGZicWxSS2NyVDA#list
http://fabbisogni.isfol.it/opendata.php http://fabbisogni.isfol.it/downloads/json_dati.txt http://fabbisogni.isfol.it/downloads/json_metadati.txt
Scraping di cliclavoro
Dato parziale (stima) Consorzio Almalaurea rapporti annuali su Occupazione Laureati, https://www.almalaurea.it/universita/occupazione https://www2.almalaurea.it/cgi-php/universita/statistiche/tendine.php?anno=2013&config=occupazione AZIONE: è un Consorzio Nazionale, chiedere open data!
Sbocchi occupazionali Corsi Universitari Fonte dati: MIUR (schede SUA) Informazioni visibili su universitaly
Introduzione
Abbiamo preso spunto da questa fantastica data guide inglese per iniziare questa guida a #sod15 #hacklavoro https://docs.google.com/document/d/1no0lIZLkX-08dyPPOlnh7khom6w7nPwzyS-u_0SBRfk/edit#heading=h.duntlgvzow5n Questo documento: è un censimento dei dati interessanti sull’argomento è un censimento dei dataset esistenti e delle loro caratteristiche (sorgente, qualità,...) da indicazioni sul come prendere i dati è un luogo collaborativo per le azioni intraprese verso gli enti proprietari del dato può essere usato per organizzare altri hackathon sul lavoro in Italia può essere usato come documentazione del lavoro della community #hacklavoroOccupazione passata/attuale
Fonte dati: ISTAT
http://dati.istat.it/ sezione/dataset: occupati (trimestrali destagionalizzati)Licenza: CC-BY http://www.istat.it/it/istituto-nazionale-di-statistica/attivit%C3%A0/open-data)
Il problema con questo dataset è la Granularità. Non è possibile avere i dati per singola professione ad esempio. Azione : Chiedere a ISTAT di rilasciare dati più granulari per il lavoro https://twitter.com/ghirardinicola/status/582116151217504256
Ci sono altri modi di prendere gli stessi dati, forse con più libertà (Da provare!!!) http://apistat.istat.it/?q=help standard api jsonstat: http://json-stat.org/
Per avere tutti i dataset con tema lavoro: http://apistat.istat.it/?q=getdslist&area=26 Dataset cercati: "Id":12,"Cod":"DCCV_OCCUPATITDE","Desc":"Occupati - dati destagionalizzati" {"Id":244,"Cod":"DCCV_OCCUPATIT","Desc":" Occupati "} Per avere tutte le dimensioni di un dataset http://apistat.istat.it/?q=getdim&dataset=DCCV_OCCUPATIT Da qui si capisce la mancanza di granularità (per le professioni e le aree di mercato ci si ferma al primo livello, molto generico) Esempi di query per estrazione dati raw : Query per professioni nel 2014 nell’agricoltura (tutte le altri dim a totale) http://apistat.istat.it/?q=getdatajson&dataset=DCCV_OCCUPATIT&dim=1,3,28,12,3,18,1,3,23,13,0,3,3,2167 Raw data uploaded at: https://github.com/ghirardinicola/hackLavoro/blob/master/italiaRAW2014soloProfessioni.json
Risultato: Si possono chiedere i dati per professione O per area, non insieme. Forse non li hanno? L’ISTAT non sa quanti ingegneri lavorano nella moda ma solo in quanti lavorano nella moda in italia e quanti ingegneri lavorano????
Per trasformare i dati raw: http://json-stat.org/tools/ https://github.com/badosa/JSON-stat https://pypi.python.org/pypi/pyjstat/ http://rpackages.ianhowson.com/cran/rjstat/man/fromJSONstat.html Ci serve un aiuto da sviluppatori qui per convertirlo in tabellare!!
http://linkedstat.spaziodati.eu/
Lista datasets con nomi: SELECT DISTINCT ?datasetURI ?title FROM http://linkedstat.spaziodati.eu/data WHERE { ?datasetURI rdf:type qb:DataSet ; dcterms:title ?title }
Datasets interessanti: http://linkedstat.spaziodati.eu/dataset/150_244_ANN Occupati - Dati anuali http://linkedstat.spaziodati.eu/dataset/150_244_TRIM Occupati - dati trimestrali http://linkedstat.spaziodati.eu/dataset/150_244_SR Occupati - serie ricostruite
Descrizione dataset:
SELECT DISTINCT ?structureURI FROM http://linkedstat.spaziodati.eu/data WHERE { http://linkedstat.spaziodati.eu/dataset/150_244_ANN qb:structure ?structureURI . }
....
Code Lists: http://linkedstat.spaziodati.eu/code/1.0/CL_PROFESSIONE http://linkedstat.spaziodati.eu/code/1.0/CL_ATECO2007_MERCE
Fonte dati: ISFOL
Vocabolario Settori Economici
Codici ATECO: http://www.istat.it/it/archivio/17888 Ateco 2007 - Versione XML http://linkedstat.spaziodati.eu/code/1.0/CL_ATECO2007_MERCEDall’analisi dei settori si deduce che questo vocabolario non è adatto a descrivere e misurare le attività innovative che spesso sfuggono alle categorizzazioni statiche e aggiornate molto raramente (ultimo aggiornamento 2007). Un esempio? Fablab e coworking hanno grosse difficoltà a trovare la loro posizione!!
Vocabolario Professioni
CP2011 ISTAT http://www.istat.it/it/archivio/18132 http://www.istat.it/it/files/2011/04/cp2011_I-Vdigit.xlsVecchio vocabolario: ISFOL http://fabbisogni.isfol.it/opendata.php
Mapping su linkedstat (spaziodati)
ISCO08: http://www.ilo.org/public/english/bureau/stat/isco/isco08/ Mapping conCP2011-ISCO08 http://www.istat.it/it/files/2011/04/raccordo_Isco08_CP2011.xlsESCO, the multilingual classification of European Skills, Competences, Qualifications and Occupations. https://ec.europa.eu/esco/download formati download: SKOS, CSV 24 lingue 3 pillars: skills/competences, qualifications, occupations
LINK CON ISCO: http://ec.europa.eu/social/main.jsp?catId=1042&langId=en Fonte: Atlante delle professioni Sorgente: Università di Torino http://www.atlantedelleprofessioni.it
Previsione Occupazione (assunzioni)
Fonte dati: UnionCamere
http://excelsior.unioncamere.net/xt/flash.geoChooser/scegli-archivio.php Si possono creare tabelle (2 dimensioni) + multiple (aggiunta dimensione anni) + Esempio di tabella il piu granulare possibile:http://excelsior.unioncamere.net/xt/out_gtw_tableChoose_exec.php?Totali=&MRow=sys5_4&VRow=all&MCol=sys2_10&VCol=all&Vari=Ass&MTnav=sys1_4&VTnav=*0100*&MTaff=&VTaff=&Naturale=&SQL=&LRow=CD&LCol=CD&VTnavValues=*0100*0103*0107*0204*0205*0206*0208*0309*0310*0311*0312*0413*0414*0415*0416*0417*0418*0419*0420*&dbname=exc_itassunprofess_201012
Licenza: NO OPEN DATA Azione: Chiedere gli opendata a unioncamere facendo vedere il valore, un esempio di quello che ci si può fare
Cartella risultato scraping : https://drive.google.com/folderview?id=0B3kO2Vt4EfKlfkgtelRyeVp0M3RfakJYcnJxRUNxZDUtclQyS05XXzE4NTFYT2l4WWJwbGs&usp=sharing&tid=0B-zVxuvZcLFDfkUyY2ZqUDdEbkRKS014Mk5OUHBpcEw2ZGVzQlM2WVRHcGZicWxSS2NyVDA#list
Fonte dati : ILO
URL : http://www.ilo.org/ilostat/faces/help_home/data_by_country/country-details?country=ITA&_afrLoop=1553002967660895#%40%3F_afrLoop%3D1553002967660895%26country%3DITA%26_adf.ctrl-state%3Duw4dycmde_164Competenze, Conoscenze, Professioni
Fonte dati: ISTAT ISFOL
http://fabbisogni.isfol.it/dati.php http://fabbisogni.isfol.it/downloads/navigatore.zip [..\navigatore\navigatore\dbdir\fabbisogni\professioni.MYI/MYD/frm] [..\navigatore\navigatore\dbdir\fabbisogni\fabbisogni_ateco_professioni.MYI/MYD/frm] [..\navigatore\navigatore\dbdir\fabbisogni\indagine_compiti_attivita.MYI/MYD/frm] [..\navigatore\navigatore\dbdir\fabbisogni\livello5[4/3/2/1].MYI/MYD/frm]http://fabbisogni.isfol.it/opendata.php http://fabbisogni.isfol.it/downloads/json_dati.txt http://fabbisogni.isfol.it/downloads/json_metadati.txt
Competenze richieste
Fonte dati: Unioncamere
http://excelsior.unioncamere.net/index.php?option=com_jumi&fileid=3&Itemid=58Posizioni aperte
I dati di cliclavoro:
SISCO (Sistema Informativo Statistico delle Comunicazioni Obbligatorie) non sembrano essere open. http://www.cliclavoro.gov.it/Barometro-Del-Lavoro/Pagine/Andamento-Mercato-Lavoro.aspx Per avere list per stringa professioni: http://www.cliclavoro.gov.it/Cittadini/Pagine/RisultatiRicerca.aspx?descrizione=addetto+a+mansioni+d%5C%27ordine+di+segreteriaScraping di cliclavoro
fare scraping sui siti di annunci
Usare api come glassglassdoor estrarre skills da testo non strutturato http://elisit.cental.be/ (http://www.aclweb.org/anthology/W13-5011) https://github.com/jikechong/employment_skill_set_analysis https://github.com/datamusing/employment_skills_extractionDestinazione Universitari
Non esiste questo dato completo. Per crearlo si dovrebbero incrociare i db miur e inpsDato parziale (stima) Consorzio Almalaurea rapporti annuali su Occupazione Laureati, https://www.almalaurea.it/universita/occupazione https://www2.almalaurea.it/cgi-php/universita/statistiche/tendine.php?anno=2013&config=occupazione AZIONE: è un Consorzio Nazionale, chiedere open data!
Sbocchi occupazionali Corsi Universitari Fonte dati: MIUR (schede SUA) Informazioni visibili su universitaly
Nessun commento:
Posta un commento