Already a member?
Sign in
| Version | User | Scope of changes |
|---|---|---|
| Apr 2 2008, 4:37 PM EDT | precariexpert | 11 words added, 1 word deleted |
| Apr 2 2008, 4:36 PM EDT | precariexpert | 26 words added, 1 word deleted |
Changes
Key: Additions Deletions
E' sempre utile comparare le realtà dei vari paesi europei e Usa. Tanto per vedere come si risolvono problemi simili o per sfatare tanti miti.
Ad esempio come facevano alcuni de La Voce.info segnalati in questo post.
Bisognerebbe fare lo stesso ad esempio su "valutazione internazionale", sulle banche dati, su come sono operativizzati concetti quali indicizzazione, ranking, merito, eccellenza in modo differenziale per aree disciplinari, sulla commercializzazione delle banche dati e degli indici di merito"...
Da un punto di vista internazionale le università sono comparate e messe in una classifica in cui spesso le università italiane sono posizionate in basso.
Le agenzie internazionali di valutazione non sono agenzie governative.
Una delle più note è una classifica cinese dal nome un po' altisonante Academic Ranking of Word University della Shanghai Jiao Tong University.
Qui potete trovare la metodologia usata per questo ranking
Un' altra classifica delle migliori università è fornita dal Times che le dedica una pagina su internet.
I criteri e le tabelle del Times non sono liberamente accessibili perché occorre pagare un abbonamento (!).
Un terzo ranking internazionale è tedesco ed è fornito solo per le facoltà naturalistiche da una società scientifica tedesca, Center for higher education development, questa società fornisce anche una classifica per tutte le discipline ma solo per le università tedesche. Questi Ranking sono forniti tenendo presente un certo numero di variabili che tuttavia non sono ben esplicitate.
Per un confronto internazionale occorre inoltre tener presente
l'European Research Council che è una diretta emanazione dell'UE, una specie di ente europeo per la ricerca che eroga fondi e quindi valuta progetti.
e
L'European University Association che si occupa della omogeneità della formazione in Europa dettandone pratiche e criteri.
Il nostro sistema universitario ha attualmente un comitato di valutazione del sistema in generale il CNVSU e anche un altro comitato che compara fra loro le università anche per indirizzare le risorse finanziarie, il CIVR.
Due enti che svolgono funzioni in parte sovrapponibili.
L'Italia è in attesa quindi di un altro ente indipendente che svolgerà tutte le valutazioni, andando a sostituire sia il CIVR che il CNVSU.
Questo ente si chiamerà ANVUR.
Ora occorre fare qualche breve considerazione sulla classifica dell' Academic Ranking of Word University della Shanghai Jiao Tong University e sui suoi criteri di costruzione.
Questo perché è la classifica usata periodicamente per scrivere articoli giornalistici sulla qualità della ricerca italiana.
I criteri di Shangai si basano esplicitamente su fattori come la vincita di premi nobel, le pubblicazioni su Nature o Science, sulla indicizzazione degli articoli scientifici da parte dell'Institute for Scientific Information (ISI) che, non è un ente governativo al di sopra delle parti, ma è un settore produttivo di una multinazionale che offre servizi a pagamento alle università, alle case editrici e agli stessi ricercatori, la Thomson corp, quotata a Wall Street.
Criteri "forse" validi solo per alcune discipline (quelle biologiche, mediche o naturali) che però non esauriscono l'intero dominio della "cosidetta" ricerca scientifica.
L'ISI è un ente privato che da molti anni fornisce e vende dati scientifici dando il miraggio di obiettività, e occupandosi delle discipline che sono maggiormente capaci di attrarre fondi.
I suoi dati non sono di libero accesso ma le università devono pagare abbonamenti alla Thomson per i suoi servizi privati di indicizzazione e valutazione degli articoli.
Servizi il cui valore è tuttavia opinabile.
Il più noto prodotto per la valutazione degli articoli scientifici creato per il suo mercato dall'ISI è l'impact factor. Un indice alquanto grossolano che misura la citazione degli articoli di una certa rivista su riviste scelte dalla stessa ISI e in proporzione al numero totale degli articoli pubblicati dalla stessa rivista in un determinato periodo di tempo.
Ecco un articolo critico di un noto matematico italiano che fornisce una analitica descrizione dell'ISI e dell'impact factor.
Ad onor del vero anche la stessa ISI è molto cauta nel dare un eccessivo peso ai propri prodotti costruiti per il "mercato" della scienza.
Ecco un articolo pubblicato dalla stessa ISI in cui, tra l'altro leggiamo (clicca per l'articolo completo):
Thomson Scientific does not depend on the impact factor alone in assessing the usefulness of a journal, and neither should anyone else. The impact factor should not be used without careful attention to the many phenomena that influence citation rates, as for example the average number of references cited in the average article. The impact factor should be used with informed peer review. In the case of academic evaluation for tenure it is sometimes inappropriate to use the impact of the source journal to estimate the expected frequency of a recently published article. Again, the impact factor should be used with informed peer review. Citation frequencies for individual articles are quite varied. There are many artifacts that can influence a journal's impact and its ranking in journal lists, not the least of which is the inclusion of review articles or letters. This is illustrated in a study of the leading medical journals published in the Annals of Internal Medicine.
Per inciso io stesso mi sono trovato a dover scrivere alla Thomson per correggere i loro dati sui miei stessi articoli (!) e per comunicare loro l'esistenza di importanti riviste non indicizzate dalla ISI (ad es., devono passare anni prima che l'ISI indicizzi riviste di nuova edizione) .
Come alternativa all'ISI, alcuni editori forniscono poi altri indici come il rejection rate ovvero la percentuale di rifiuto degli articoli da parte di una certa rivista. Un indice di bontà del processo di referaggio. Anche il rejection rate però come unico fattore di valutazione è suscettibile di problemi dovuti in particolare al numero eccessivo o povero di manoscritti inviati ad una determinata rivista scientifica. Per cui il rejection rate per riviste di alta diffusione e appetibilità è eccessivamente alto.
Ci sono poi le valutazioni delle riviste sviluppate all'interno delle comunità scientifiche internazionali di riferimento che forniscono esse stesse statistiche sulle riviste, indicizzano gli articoli, creano banche dati relativi al proprio dominio.
Queste banche dati sono a loro volta rivendute da società che forniscono servizi bibliografici alle università.
Una di queste società è la Cambridge Scientific Abstract che fa navigare nelle banche dati di tutte le discipline prese una per una (vedi ad esempio al link).
Tutto a pagamento.
Altre società stanno provando a costruire altre banche dati scientifiche come google che ha un motore di ricerca dedicato ancora molto impreciso (google scholar).
Ma questa è solo la punta dell'iceberg.
Una domanda legittima è ...ma negli altri paesi quale valore hanno le banche dati ISI, i ranking "Shangai" insomma come funzionano le altre agenzie di valutazione governative francesi, tedesche, Inglesi o americane...
Sugli Usa, sulla base di una comparazione con l'Italia, in allegato un interessante analisi di Lorenzo Marrucci del 2003.2003 e un "Inchiesta" della rivista Crisi e Conflitti del 2006. Sul resto vedremo...
Tutte queste sono domande legitime e per nulla scontate.
Ad esempio come facevano alcuni de La Voce.info segnalati in questo post.
Bisognerebbe fare lo stesso ad esempio su "valutazione internazionale", sulle banche dati, su come sono operativizzati concetti quali indicizzazione, ranking, merito, eccellenza in modo differenziale per aree disciplinari, sulla commercializzazione delle banche dati e degli indici di merito"...
Da un punto di vista internazionale le università sono comparate e messe in una classifica in cui spesso le università italiane sono posizionate in basso.
Le agenzie internazionali di valutazione non sono agenzie governative.
Una delle più note è una classifica cinese dal nome un po' altisonante Academic Ranking of Word University della Shanghai Jiao Tong University.
Qui potete trovare la metodologia usata per questo ranking
Un' altra classifica delle migliori università è fornita dal Times che le dedica una pagina su internet.
I criteri e le tabelle del Times non sono liberamente accessibili perché occorre pagare un abbonamento (!).
Un terzo ranking internazionale è tedesco ed è fornito solo per le facoltà naturalistiche da una società scientifica tedesca, Center for higher education development, questa società fornisce anche una classifica per tutte le discipline ma solo per le università tedesche. Questi Ranking sono forniti tenendo presente un certo numero di variabili che tuttavia non sono ben esplicitate.
Per un confronto internazionale occorre inoltre tener presente
l'European Research Council che è una diretta emanazione dell'UE, una specie di ente europeo per la ricerca che eroga fondi e quindi valuta progetti.
e
L'European University Association che si occupa della omogeneità della formazione in Europa dettandone pratiche e criteri.
Il nostro sistema universitario ha attualmente un comitato di valutazione del sistema in generale il CNVSU e anche un altro comitato che compara fra loro le università anche per indirizzare le risorse finanziarie, il CIVR.
Due enti che svolgono funzioni in parte sovrapponibili.
L'Italia è in attesa quindi di un altro ente indipendente che svolgerà tutte le valutazioni, andando a sostituire sia il CIVR che il CNVSU.
Questo ente si chiamerà ANVUR.
Ora occorre fare qualche breve considerazione sulla classifica dell' Academic Ranking of Word University della Shanghai Jiao Tong University e sui suoi criteri di costruzione.
Questo perché è la classifica usata periodicamente per scrivere articoli giornalistici sulla qualità della ricerca italiana.
I criteri di Shangai si basano esplicitamente su fattori come la vincita di premi nobel, le pubblicazioni su Nature o Science, sulla indicizzazione degli articoli scientifici da parte dell'Institute for Scientific Information (ISI) che, non è un ente governativo al di sopra delle parti, ma è un settore produttivo di una multinazionale che offre servizi a pagamento alle università, alle case editrici e agli stessi ricercatori, la Thomson corp, quotata a Wall Street.
Criteri "forse" validi solo per alcune discipline (quelle biologiche, mediche o naturali) che però non esauriscono l'intero dominio della "cosidetta" ricerca scientifica.
L'ISI è un ente privato che da molti anni fornisce e vende dati scientifici dando il miraggio di obiettività, e occupandosi delle discipline che sono maggiormente capaci di attrarre fondi.
I suoi dati non sono di libero accesso ma le università devono pagare abbonamenti alla Thomson per i suoi servizi privati di indicizzazione e valutazione degli articoli.
Servizi il cui valore è tuttavia opinabile.
Il più noto prodotto per la valutazione degli articoli scientifici creato per il suo mercato dall'ISI è l'impact factor. Un indice alquanto grossolano che misura la citazione degli articoli di una certa rivista su riviste scelte dalla stessa ISI e in proporzione al numero totale degli articoli pubblicati dalla stessa rivista in un determinato periodo di tempo.
Ecco un articolo critico di un noto matematico italiano che fornisce una analitica descrizione dell'ISI e dell'impact factor.
Ad onor del vero anche la stessa ISI è molto cauta nel dare un eccessivo peso ai propri prodotti costruiti per il "mercato" della scienza.
Ecco un articolo pubblicato dalla stessa ISI in cui, tra l'altro leggiamo (clicca per l'articolo completo):
Thomson Scientific does not depend on the impact factor alone in assessing the usefulness of a journal, and neither should anyone else. The impact factor should not be used without careful attention to the many phenomena that influence citation rates, as for example the average number of references cited in the average article. The impact factor should be used with informed peer review. In the case of academic evaluation for tenure it is sometimes inappropriate to use the impact of the source journal to estimate the expected frequency of a recently published article. Again, the impact factor should be used with informed peer review. Citation frequencies for individual articles are quite varied. There are many artifacts that can influence a journal's impact and its ranking in journal lists, not the least of which is the inclusion of review articles or letters. This is illustrated in a study of the leading medical journals published in the Annals of Internal Medicine.
Per inciso io stesso mi sono trovato a dover scrivere alla Thomson per correggere i loro dati sui miei stessi articoli (!) e per comunicare loro l'esistenza di importanti riviste non indicizzate dalla ISI (ad es., devono passare anni prima che l'ISI indicizzi riviste di nuova edizione) .
Come alternativa all'ISI, alcuni editori forniscono poi altri indici come il rejection rate ovvero la percentuale di rifiuto degli articoli da parte di una certa rivista. Un indice di bontà del processo di referaggio. Anche il rejection rate però come unico fattore di valutazione è suscettibile di problemi dovuti in particolare al numero eccessivo o povero di manoscritti inviati ad una determinata rivista scientifica. Per cui il rejection rate per riviste di alta diffusione e appetibilità è eccessivamente alto.
Ci sono poi le valutazioni delle riviste sviluppate all'interno delle comunità scientifiche internazionali di riferimento che forniscono esse stesse statistiche sulle riviste, indicizzano gli articoli, creano banche dati relativi al proprio dominio.
Queste banche dati sono a loro volta rivendute da società che forniscono servizi bibliografici alle università.
Una di queste società è la Cambridge Scientific Abstract che fa navigare nelle banche dati di tutte le discipline prese una per una (vedi ad esempio al link).
Tutto a pagamento.
Altre società stanno provando a costruire altre banche dati scientifiche come google che ha un motore di ricerca dedicato ancora molto impreciso (google scholar).
Ma questa è solo la punta dell'iceberg.
Una domanda legittima è ...ma negli altri paesi quale valore hanno le banche dati ISI, i ranking "Shangai" insomma come funzionano le altre agenzie di valutazione governative francesi, tedesche, Inglesi o americane...
Sugli Usa, sulla base di una comparazione con l'Italia, in allegato un interessante analisi di Lorenzo Marrucci del 2003.2003 e un "Inchiesta" della rivista Crisi e Conflitti del 2006. Sul resto vedremo...
Tutte queste sono domande legitime e per nulla scontate.
