引用分析与学术评监.ppt

《引用分析与学术评监.ppt》由会员分享，可在线阅读，更多相关《引用分析与学术评监.ppt（67页珍藏版）》请在三一文库上搜索。

1、1,引用分析與學術評鑑,政治大學圖書資訊與檔案學研究所 蔡明月 教授,2,新聞回顧,中國時報90年12月19日第13版頭條新聞刊載：為改善獲獎率偏高，造成得獎者不覺光榮，未得獎者抗議不公的情形，國科會決定大幅修訂實施多年的研究獎勵制度，廢除得獎率超過50%的一般獎，僅保留獲獎率3%到5%之間的傑出獎。 國科會於94年取消傑出獎,3,分析,性質：專家審查之質化評鑑 對象：個別研究者 爭議：主觀偏見、費時耗力、花費成本,4,新聞回顧,教育部於民國92年10月20日，首度針對全國154所大學院校，採用具國際公認水準的SCIScience Citation Index(科學引用文獻索引資料庫)、SSC

2、ISocial Sciences Citation Index(社會科學引用文獻索引資料庫)、以及EIEngineering Index(工程索引資料庫)，統計我國公私立大學及技職校院教師發表的學術論文篇數，作為學術評鑑之重要參考。,5,分析,性質：量化評鑑 對象：全國各大學院校 爭議：資料庫性質差異；學校性質不同,6,索引資料庫,學科主題索引 EI(Engineering Index) CA(Chemical Abstracts) PA(Physical Abstracts) MEDLINE Biological Abstracts ABI/INFORM(企業資訊文獻資料庫) Arts &

3、Humanities Search ERIC(教育學文獻資料庫) LISA(圖書館學與資訊科學文獻資料庫) MLA(語言學文獻資料庫),引用文獻索引 SCI(Science Citation Index) SSCI(Social Sciences Citation Index) A&HCI(Arts and Humanities Citation Index),7,Compendex,原名Engineering Index。為目前收錄最廣泛的工程研究資料書目資料庫。包括5千種以上之工程期刊、會議論文和技術報告。主題範圍包含：化學與程序工程、電腦與資料處理、應用物理、電子與傳播、土木工程、機械和

4、材料工程。,8,資料庫收錄標準,SCI收錄期刊標準：SCI資料庫涵蓋3,700種科技期刊，主題包括：醫學、生物、化學、電腦科學等；擴充後的Science Citation Index Expanded(SCIE)資料庫收錄六千多種期刊。特別強調期刊被引用是品質與影響力的表徵。 EI收錄期刊的總數為五千多種，以廣泛為主。,9,索引功能,檢索資料 提供資料 學術整理 避免重複 快速、有效省時查尋資料的工具 因此，就圖書館而言，主要是作為期刊訂購刪除參考。無涉學術評鑑,10,量化評估,一個簡單的工具。 尺規的水平放在相同的基準點 資料庫性質不同，EI不應與各CI相提並論 SCI與EI、SCI與SSC

5、I、SSCI與A&HCI均有重複收錄期刊的情況 不同系所、不同學院，不可加總一起比較，沒有意義 SCI生物與醫學期刊種類約佔60% 強調國際化，忽略本土期刊與非期刊類型的出版品,11,新聞回顧(1/4),ISI in-cites 於93年4月報導台灣文獻發表及被引用情形 台灣在十年之中所發表論文(不分學科領域)被引用(Citations)的次數為420,234次，在前149名的國家之中排名為第26名。十年之中發表的文章總篇數(Papers)為96,394篇，排名為第21名。每篇文章平均被引用的次數(Citations Per Papers)為4.36次，排名為第96名。,12,新聞回顧(2/4

6、),全世界以文章總共被引用次數(Citations)排名，第一名到第五名依序為美國、英國、德國、日本、法國，至於台灣的強勁對手中國大陸及韓國分別排名在第十九名及第二十二名。依照發表文獻的總篇數(Papers)排名，第一名還是美國，二到四名依序則是日本、德國、英國、法國。,13,新聞回顧(3/4),依照每篇文獻平均被引用的次數(Citations Per Papers)排名一至五名則為，幾內亞比紹、百慕達、塞內甘比亞、盧安達、瑞士，而在引用次數及發表文獻排名都在第一名的美國則排在第六名。 在台灣的研究領域中，文章被引用次數(Citations)最多的為臨床醫學，第二名為化學，第三名為物理學，第四

7、名為工程學，第五名為生物學。,14,新聞回顧(4/4),此外，發表的論文篇數(Papers)，最多的為工程學，十年之中發表了18,227篇文章，其次為臨床醫學，發表了16,960篇文章。依照每篇文章平均被引用次數（Citation per paper）排列，平均引用次數最高的為分子生物學及遺傳學（平均引用次數為10.86），第二則為免疫學（平均引用次數為9.19）第三則為微生物學（平均引用次數為9.05）。,15,分析,性質：量化評鑑 對象：全國學術單位 爭議：分數化的平均數，較大母體數才有意義，例如：非洲國家(CPP)排名前四名。某校某系所只有一篇，被引用二次，平均為2/1 = 2，某校有一

8、千篇，被引用五百次，平均為500/1000 = 0.5,16,引用文獻分析(citation analysis),正文 參考書目 引用文獻 被引用文獻,17,引用文獻,引用是因為被引用文獻提供了相關資訊 描述採用的研究方法 提供支持的數據或討論 找出更寬廣的研究內涵,18,被引用文獻,被引用的次數反應出被後來研究使用的多少。被引用越多，表示貢獻的資訊越多，影響越大；反之，衰退的引用次數，顯示文章被引用的趨動力減弱，而不被使用。,19,SCI，SSCI,SCI，SSCI共有三個資料庫，分別是： 來源文獻索引(source index) (general search) 引用文獻索引(citati

9、on index) (citation search) 期刊引用報告(Journal Citation Reports, JCR) EugeneGarfield 曾聲明，引用文獻索引製作的原理乃基於：引用與被引用文獻間必存在有意義的關係。 SCI，SSCI是將收錄之來源文獻(source item)，亦即引用文獻(citing work)及其引用的文獻，亦即被引用文獻(cited work)完全輸入電腦而編製完成。,20,SCI, SSCI選錄標準,1.期刊被引用頻率的高低(最重要) 2.具權威性的編輯委員會及健全的論文審查制度 3.具明確之投稿須知 4.期刊刊名應能顯示該刊之主題內容 5.具

10、英文目次、篇名及摘要 6.定期出刊且每年至少出版兩期以上 7.國際知名專家的推薦 8.完整的參考文獻書目資料及詳細的作者聯絡地 址,21,Source Index,由SCIE 6000多種，SSCI 1700種來源期刊所刊載的文章構成。 功能主要在提供某一主題完整性的文獻檢索之用，故其收錄期刊較多。例如：EI 收錄5000多種，ERIC收錄1070種，EconLit400多種。 被主題索引資料庫收錄為提昇文章國際能見度之重要的國際指標。,22,Citation Index(1/4),1. 唯一能提供自SCI 1900， SSCI 1956年至今，完整之被引用數據的資料庫，包括個人、文章、機構等

11、被引用次數、被何人引用、在哪裡被引用以及什麼內容被引用。,citation index之特性及其應用歸納如下：,23,24,Citation Index(2/4),2.引用文獻索引是以被引用文獻為標目，與引用文獻相連繫而達到將相同主題文獻聚集在一起的目的。,不論其學科屬性為何，凡被來源文獻引用過的文獻均收錄在citation index。其多科際及交互參照之獨特性，是從事跨科際研究最好且唯一的工具。,25,Citation Index(3/4),3.Citation index指引了使用者從以前的被引用文獻到後來的引用文獻。,透過引用文獻索引的組織可以了解文獻出版後被使用的程度及後來的發展。可

12、促進學術傳播之反饋機能；了解某一主題歷年的研究成果並預測未來趨勢，對學術整理與提昇具莫大之貢獻，利用共被引(co-citation)研究更可探尋學科間之知識結構，是研究學科主題知識地圖與知識本體論(ontology)的利器。,26,Citation Index(4/4),4.Citation index所提供的引用數據，不是其他資料庫可以提供的。,只要被來源文章引用就會被收入在citation index資料庫，不管發表的是期刊論文、圖書或博士論文。也不管是用英文或中文書寫。,27,28,論語譯註/ 楊伯峻譯註(中文),29,在SSCI的Cited Reference Search，於Cite

13、d Work欄位輸入LUN YU YI ZHU，可以找到如下的資訊LUN YU YI ZHU之不同版次，總共被引用5次。,30,期刊引用報告(JCR),JCR為SCI、SSCI以及A&HCI三種資料庫中，被引用的數據加以分析整理產生。 JCR是唯一提供期刊引用數據之工具，主要可檢索下列期刊資料： (1)某特定年期刊被引用總次數； (2)某特定年期刊每篇文章平均被引用次數（impact factor-IF，影響因素)、某特定年期刊即時被引用指數（immediacy index)；,31,(3)某特定年刊載文章總數； (4)期刊引用半衰期（citing half-life)； (5)期刊被引用半衰

14、期（cited half-life）； (6)另外還可以透過引用與被引用數據計算出二種期刊自我引用率 （self-citing與self- cited）。,32,JCR應用(1),就圖書館而言：歷年的引用數據分佈可作為期刊訂購及經費控制之參考，利於完成合乎經濟效益之期刊管理。此外，尚可協助圖書館決定過期期刊的典藏作業，包括決定裝訂保留或淘汰的期限。 就個別科學家而言：可找出在其專業領域中新的或重要的期刊，定期閱讀，以增加新知或加以組織而成為個人的收藏。 就作者而言：可得知最熱門、最具影響力、被使用最多、最具生產力或生命週期最長的期刊，作為投稿的參考，亦可作為評估學者專家研究成果的客觀憑據。,3

15、3,JCR應用(2),就編輯者而言：在扣除期刊自我引用後，期刊的編輯者們可以從期刊被引用的情形，得知自己期刊的整體表現如何？是否達到預期之經營目標？亦可與其他期刊加以比較。 就出版者而言：可作為發行新期刊、擴充、合併或聽只出版現有期刊的依據。 就資訊分析家而言：利用書目計量學的研究方法，發展新的訂量指標以評估期刊品質，進而開發各種科學傳播之模式。,34,JCR對影響因素(impact factor ,IF)的定義,為某期刊二年前出版文章總數在某一特定年平均被引用的次數。亦即第一年與第二年出版的文章，在第三年被引用的總數，除以第一年與第二年出版文章的總數。,35,影響因素(IF)說明(1/4),

16、以Nature為例，2004年的IF是2002年出版936篇、2003年出版980篇，兩年合計共1,916篇。2002年的文章被引用31,487次，2003年25,018次，二年被引用次數共56,505次，因此，其2004年的影響因素為56,505/1,916 = 29.491。 原則上IF越大，表示該期刊影響較大。,36,影響因素(IF)說明(2/4),因為IF是分數的結果，分子與分母的關係，決定其數值的大小，所以期刊的性質會影響其影響因素，一般而言，評述性質的期刊，例如：Annual Review of Information Science and Technology、MIS Quar

17、terly，刊期較長，常見為季刊、半年刊或年刊，刊載文章較長，文章篇數較少。這類期刊文章是進行文獻探討工作時，最常被使用的文獻類型，被引用機會相當高。如此一來，在分子大分母小的情況下，IF自然較高。,37,影響因素(IF)說明(3/4),讀者應該去引用最原始的著作，才是學術引用該探索的本質。 期刊IF每年都不一樣(如表6)，因為每年都在變動的工具，較無具備公正客觀之指標 期刊品質或學術貢獻，需要時間的檢驗以產生累積的效果。,38,表1 圖資學近十年影響因素（1995-2004年）平均值前十名之期刊表,未收錄：表示JCR資料庫當年度未收錄該本期刊,39,影響因素(IF)說明(4/4),影響因素是

18、一個平均值，期刊每年出版文章篇數或是計算的年數均會影響其數值。 出版文章篇數越多的期刊其每年影響因素的改變較少 (例如：150篇以上的期刊大約在正負15%，35篇以下在正負40%之間)。 大略估計，期刊之間的影響因素差異若少於0.25則應屬於同一等級。計算時間的長度亦會影響影響因素。 根據研究顯示JCR以二年為計算基準的影響因素，各期刊每年的數值，起伏變動相當大。然而若改以五年為計算基準，則各期刊每年的數值較為平緩穩定。,40,JCR依學科主題分類的期刊排序應謹慎處理。 就學科類別之下的影響因素大小定期刊的排名是相當危險的，因為某期刊被引用很多，可能是在別的領域被引用。 例如：MIS Quar

19、terly是資管領域的主流期刊，該期刊最近八年才被歸入圖資類，屬於邊緣期刊，在圖資類影響因素排名第一，然而被引用卻大多在資管領域。 學科領域不同，期刊影響因素不可互相比較。 應極力避免採用一影響因素的絕對值(absolute value)去評量期刊品質，因為除了受前述的變數影響之外，不同學科領域長期發展情勢亦影響了影響因素。,41,Eugene Garfield 他在1955年首次提出impact factor的觀念，當時並未想到會造成今日廣泛的衝突，impact factor是Current Contents 與SCI資料庫以及圖書館用來選擇好期刊之用，然而卻在各種情況下被誤用了，尤其是評鑑

20、個別研究者。 最後JCR的期刊被引用與引用指標，是期刊的指標，期刊被引用很少或很多，並不代表個人文章被引用，若要突顯國際被引用競爭力仍應回歸至SSCI Citation Index的檢索。,42,43,44,結語,學術研究的追求貴在交流傳播，傳播要有媒介，出版尤其是期刊出版是最廣泛的傳播途徑。超越在地之外，尋求更寬廣的討論與對話空間，應是發展學術國際化一個正面的方向。 除了尋求國際期刊或其他媒體發表之外，亦可積極推動台灣學術期刊加入國際索引摘要資料庫，以提升其能見度。論文發表之後，更應關心的層面是其產生的回應。,45,JCR 與SSCI 是唯一提供期刊、作者、機構與文獻被引用情形的資料庫，亦是

21、唯一可以將所有學科的引用資料放在一個平台上的工具。透過引用與被引用的機制，它們是觀察與檢驗學術研究在國際上所造成影響之最直接的工具。工具本身是沒有生命的，使用工具的人賦予它價值。因此，應秉持工具理性的態度面對。,46,謝謝指教,47,引用本質,引用行為及引用動機是一個謎。 沒有人可以真正知道文獻為何被引用。 作者的引用行為被知道的不多。引用文獻分析研究批評：自我引用、引用錯誤、引用均等、二次引用。,48,引用分析之批評： 自我引用(1),膨脹被引用次數誇大其貢獻 種類：作者、機構、國家、期刊、學科等,49,引用本質,引用行為及引用動機是一個謎。 沒有人可以真正知道文獻為何被引用。 作者的引用行

22、為被知道的不多。引用文獻分析研究批評：自我引用、引用錯誤、引用均等、二次引用。,50,自我引用(2),Lawani農藝學期刊： 美國出版 Agronomy Journal為52 %； Crop Science為60 %。 法國出版 LAgronomie Tropicale為100%； Annales Agronomiques為83 %。 Tagliacozzo作者自我引用： 植物生理學為16.6% 神經生物學為17.5%,51,引用分析批評：引用錯誤,引用格式、引用內容 Pandit：圖書館學核心期刊之文章所包含的的引用書目，18%有錯誤。 錯誤類型： 遺漏頁碼、頁碼錯誤 作者或編者名字不完整

23、、不正確 文章篇名錯誤,52,引用分析批評：引用均等(1),即所有的引用同等重要 從引用次數確認重要性 同一篇作品被多次引用亦只計算一次(文獻包含導論、方法論、結果與結論) 被引用文獻出現在引用文獻那一部分彰顯不同的重要性,53,引用均等(2),聲望、名氣高而被引用，並非對引用文獻有實質的影響。 實際分析引用文獻正文內容，是評估研究成果最有效的作法。,54,引用分析批評：二次引用,作者未真正參考原始文獻，引用書目資料取自於別的出版品的參考書目。 Moed與Vriens：將原始文獻與被引用書目加以比對，結果發現：某特定的引用錯誤居然會同樣出現在不同文章的參考書目。 (引用書目從別的參考書目複製而

24、來),55,引用文獻限制,Stewart認為引用文獻的限制有 引用文獻分析只能以已出版的文獻加以計算。 引用文獻只能說明真正被使用的資料，而那些即便是需要但未獲得的資料，則無法引用。 當研究興趣轉變時，某一特定主題在某特定時間內將造成文獻大量異常，致使引用文獻分析會被曲解。,56,影響引用次數與引用正確性之因素,Smith：影響引用次數及引用正確性之因素有 期刊年紀：期刊出版越久，越可能被引用。 刊期：即期刊出版的頻率，週刊與月刊較季刊與年刊被引用的機率高。 期刊的大小：出版的文章數越多，被引用將越頻繁。,57,影響引用次數與引用正確性之因素,語言的性質 主題的爭議性 作者的聲望 被索引與摘要

25、工具收錄的情況 抽印本與電子全文的有無,58,引用文獻分析之問題,資料庫檢索者或數據的整理者造成的技術性錯誤。 資料庫製作者輸入資料時的作業疏失。 資料庫收錄資料不完整。 缺乏統一的作業方式，結果無解釋的標準協議。其中以作者名字不一致與同名同姓的情況最常見，例如：超導體的大學者朱經武(Paul Chu)，專利的名字是 C. W. Chu。,59,引用文獻分析之問題,不具爭議性但有用的文章較少被引用，反之對立性強的文章被引用較多。 方法論文章被引用較多。 有些資料類型，如專利文獻，較少被引用。 在以量取勝的謀略下，利用引用文獻數量或影響因素的多寡來評估個人成就，將造成連續出版小篇幅的文獻，以自我

26、引用或合作出版等手段來操弄引用文獻的評量。,60,引用文獻分析之問題,引用行為的不確定性 Allison與Stewart：無法確知那些引用是與被參考作品有關。 Kochen：作者選擇參考書目非常武斷，遺漏應被引用的文獻或引用許多不相關的文獻。 Martyn：引用文獻索引無法顯示被引用作品的那一部分是引用作者引用的實體。 Broadus及Thome：政治背景、個人動機、作者玩弄的遊戲，可能成為作者提昇個人或服務機構之地位而選擇參考資料的原因。,61,引用文獻在評量什麼,品質、重要性、影響力、可見性、使用性？ 上述部分組合、全部的綜合？ 可靠性、效度如何？能評量的多好？ 引用行為有效性，研究越來越

27、多。 Cozzen：越近看待引用行為，了解就越少。無法了解作者為何引用這篇文章而不引用那篇文章的真正原因。,62,引用文獻分析存在原因,沒有一種既簡單、直接又實際的技術可掌握所有文獻的使用情形。 價值的判斷早在文獻被引用時即已完成。 可容易且精確的選擇引用的數據。 引用文獻分析是唯一對作者使用文獻最容易觀察到的指標。 由作者進行被引用資料的審查，判斷其被引用的重要性或貢獻。,63,引用文獻分析正面樂觀看法,Hayes：評估圖書館與資訊科學教師的研究成果，證實引用文獻分析是有效的測量方法。 Clark：評量心理學家學術地位，發現引用次數與學術地位呈正相關。,64,引用文獻研究基本假設,Hall認

28、為引用文獻研究的基本假設為 所有被使用過的文獻有真正被引用。 引用作者真的有使用被引用文獻，且被引用文獻提供了有意義的資訊。 引用次數是評量引用文獻是否有意義的有效工具。,65,引用文獻研究基本假設,被引用文獻的內容與引用文獻內容具體相關 所有引用的價值相等 期刊引用報告收錄的期刊能正確代表整個學科領域並支援其研究目標與目的,66,回到原點,學術評鑑在評鑑什麼？ 能見度：廣泛性(各類主題索引) 影響力、重要性：引用文獻分析(引用文獻索引) 成本效益問題 簡單粗糙量化標準，易引發流弊，無法正確評斷學術成果的優劣 複雜精細質化標準，執行困難、費時、耗力，動員龐大人力物力，社會成本過高 抉擇？,67,分享完畢，敬請指教,