図書館情報メディア研究科図書館情報メディア専攻 学術情報流通 情報探索行動 大学図書館 大学院共通科目 The Presentation 図書館 情報 メディア系 教授 図書館情報メディア研究科図書館情報メディア専攻 専攻長 大学院 共通科目 Hiroshi Itsumura SCREAL2014のデータを取り込む アジア経済研究所の中身を取り込む 逸村裕

キーワード 学術情報流通 情報探索行動 大学図書館 成果発表 オープンアクセス インパクトファクター 研究評価

結論 研究評価って何？ 現在流布している言説と その実態を知った上で よく考え賢く対応しましょう

研究は楽しい 研究は自由 研究は多様 成果を挙げなくてはならない 金と時間がかかる

研究は楽しい CUDOS規範（マートン規範） 公有性（Communalism) 普遍性(Universalism) 無私性(Disinterestedness) 組織化された懐疑主義(Organized skepticism) 近年PLACE(Property, Local, Authoritarian, Commissioned, Expert）と揶揄されることもある Proprietary「所有的」知識資源を中心とした（資産）階級で研究（成果）を独占する傾向にある Local「局所的」真理の通用範囲はむしろ局所的になっている（科学者は特定分野でのみ通用する真理を追求する傾向にある） Authoritarian「権威主義的」所属の分野で権威をもつ人物の知が基軸となり，研究が発展する傾向にある Commissioned「請け負い的，受託・受注的」政府や権力あるいは資本家から，科学研究の専門家として研究（しばしば応用研究）を委託されている Expert「専門的」科学者には専門家としての振る舞いが期待され，また自身も専門家として振る舞う

Publish or perish

研究評価 教育 授業評価 Impact Factor 引用情報 資金獲得 採用 昇進 テニュア 業績評価 機関評価 教員/研究者 社会貢献 大学・研究機関 教員/研究者 研究成果 機関評価 引用情報

評価 研究者 成果を求められる 国 日本は世界2位から5位に転落 大学 大学ランキング 世界での順位

研究評価に関する指標 発表論文 発表図書数 獲得資金 引用関連 招待講演、学会開催、政府関係委員、指導学生数 データ

大学(が、まで、も） 順位付けされるようになった 大学(が、まで、も） 順位付けされるようになった

THEのランキング 1.教育【30％】 2. 研究【30％】 3. 論文被引用【30％】 研究の影響力（論文1本当たりの平均被引用回数） 教育評価結果、教員1人当たりの学生数、PhD授与数／学士号授与数比、教員1人当たりのPhD授与数、教員1人当たりの大学全体の収入 2. 研究【30％】 研究評価結果、教員1人当たりの研究収入、教員・研究者1人当たりの出版論文数 3. 論文被引用【30％】 研究の影響力（論文1本当たりの平均被引用回数） 4.産業界からの収入【2.5％】 教員1人当たりの産業界からの収入 5.国際性【7.5％】 留学生／国内学生比、外国人教員／国内出身教員比、国際共著の研究ジャーナル出版数 

Leiden Ranking The CWTS Leiden Ranking 2015 is based on publications in Thomson Reuters’ Web of Science database (Science Citation Index Expanded, Social Sciences Citation Index, and Arts & Humanities Citation Index) in the period 2010–2013. http://www.leidenranking.com/methodology/datacollection Centre for Science and Technology Studies The CWTS Leiden Ranking 2015 is based on publications in Thomson Reuters’ Web of Science database (Science Citation Index Expanded, Social Sciences Citation Index, and Arts & Humanities Citation Index) in the period 2010–2013. - See more at: http://www.leidenranking.com/methodology/indicators#sthash.sCnKWvHz.dpuf

指標の誤用 早期修了 ・・・・・・ 少し考えてみればそんなデータに意味はない 歩留まり率は高いのがいいのか？低くてもかまわないのか？ 　留学ー　単位互換 早期修了

皆さんは論文発表メディアを どのように選んでいますか？ ＳＴＭ系は海外学術雑誌に投稿する なぜ？ インパクトファクターが高いから

× インパクトファクター言説 彼の論文がNATUREに載ったんだってさ。 24歳かそこらでインパクトファクター30ゲットだぜ。 　　×　　 インパクトファクター言説 彼の論文がNATUREに載ったんだってさ。 24歳かそこらでインパクトファクター30ゲットだぜ。 もしウチの大学に採用された場合、君は三年間でどれ だけのインパクトファクターをあげることができるかね？ インパクトファクターの総合計点とは発表論文の掲載 誌のインパクトファクターを単純に足し合わせた点数 です。この点数が1000点を越えるとは30年間の在職 中にNature、Scienceに30報、つまり年に１報です。 16

インパクトファクターとは 正しく理解していますか？ インパクトファクターとは 正しく理解していますか？

インパクトファクターとは 引用をｘｘｘした指標 インパクトファクターとは 引用をｘｘｘした指標

引用って何？

If I have seen further it is by standing on the shoulders of giants If I have seen further it is by standing on the shoulders of giants. Newton, I.

引用って何？ 先行研究 肯定的 否定的 方法 レビュー替わり 儀礼的 ・・・

引用15の理由Weinstock 1.先駆者に敬意を表する 2．関連文献を評価する 3．方法論や装置等を明示する 4．背景となる文献を示す 5．既存の研究者の誤りを指摘する 6．既存の研究の誤りを指摘する 7．先行研究を批評する 8．自説を補強する 9．今後の研究に注意を喚起する 10．普及していない、索引化されていない、引用されていない研究を紹介する 11．定数等のデータや、事実の分類が正しいことを示す 12．あるアイディアや概念が議論された最初の出版物を特定する 13．ある先駆的な概念や用語が記述された最初の出版物や研究を特定する 14．既存の研究やアイディアを否定する（否定的な主張） 15．先取権の主張に異議を唱える（否定的な言及）

Impact Factor (IF) The journal Impact Factor is the average number of times articles from the journal published in the past two years have been cited in the JCR year. The Impact Factor is calculated by dividing the number of citations in the JCR year by the total number of articles published in the two previous years. An Impact Factor of 1.0 means that, on average, the articles published one or two year ago have been cited one time. An Impact Factor of 2.5 means that, on average, the articles published one or two year ago have been cited two and a half times. Citing articles may be from the same journal; most citing articles are from different journals.

The impact factor (IF) of an academic journal is a measure reflecting the average number of citations to recent articles published in the journal. It is frequently used as a proxy for the relative importance of a journal within its field, with journals with higher impact factors deemed to be more important than those with lower ones. The impact factor was devised by Eugene Garfield, the founder of the Institute for Scientific Information. Impact factors are calculated yearly starting from 1975 for those journals that are indexed in the Journal Citation Reports. （Wikipedia）

2012年のX誌のImpact Factor 0.5 この数値にどういう意味がありますか？ 2010年～2011年にA誌に掲載された論文が 2012年に引用された延べ回数 (500回) ＝ 2010年～2011年の間にＡ誌に掲載された 論文数　(1,000論文) 0.5 ＝ この数値にどういう意味がありますか？

Impact Factor(IF)の誤用 学術雑誌の評価指標 「ある雑誌に掲載・発表された論文が平均的には何回引用されたかを示す尺度。対象年の前2年間の引用統計を平均化・計算されています」 Thomson Reuters用語集ー学術文献用語ー IFは研究者/研究成果の指標ではない

Impact Factorを 安易に「評価」に流用している Impact Factorは雑誌の指標 研究評価の指標ではない

NATUREのImpact Factor 2010年～2011年に掲載された論文が 2012年に引用された延べ回数 34,629+31,102回 ＝ 869 554745 38.597 2010年～2011年の間に掲載された 論文数　862+841論文 ＝

NATUREのImpact Factor 38.597 2010年～2011年に掲載された論文が 2012年に引用された延べ回数 65,731回 ＝ 869 554745 38.597 2010年～2011年の間に掲載された 論文数　1,703論文 38.597 ＝

Impact Factorは変動する

主要誌のインパクトファクター変遷1980-

主要誌のインパクトファクター変遷1980-2011 32

最初にImpact Factorを 研究評価に援用したのは？ これまでの調査では 1993年北里大学 　但し書きとしてIFについてきちんと書いてある 逸村，安井　2006

IFと論文の引用データ インパクトファクター＝雑誌の影響度 引用データ＝論文の影響度 ☓ 雑誌の重要度 ☓ 論文の重要度 ◯ 同一分野内での雑誌の比較 引用データ＝論文の影響度 ☓ 論文の重要度（批判的引用，儀礼的引用，自己引用） ！ 引用されるまでの時間 ◯ 複数の指標を用いる＋内容・質の評価

1955年にEugene Garfieldが考案 Eugene Garfield

インパクトファクターは研究業績評価に使えない Impact factors are widely used to rank and evaluate journals. They also often used inappropriately as surrogates in evaluation exercises. The inventor of the Science Citation Index warns against the indiscriminate use of these data. Eugene Garfield.　How can impact factors be improved? British Medical Journal. Vol.313, 1996. p.411-413. インパクトファクターは「学術雑誌」の指標であり、研究業績評価指標ではない。 　　　　インパクトファクターの開発者　ガーフィールド

いろんな研究評価指標 決定打はない！ h-index FWCI Eigenfactor Article Influence Usage Factor… Altmetrics ツイッター、ソーシャルメディア、ブログ等に表れた 論文への関心度を示すアクセス数、引用などを示 すことにより、論文レベルのインパクトを測る 決定打はない！ 2006年3月9日(木)　名古屋大学学術機関リポジトリ 公開記念講演会

Impact Factorに代わる指標？ San Francisco Declaration on Research Assessment 研究評価に関するサンフランシスコ宣言 http://am.ascb.org/dora/ 科学研究のアウトプットを助成機関や研究機関やその他の機関が評価する際の方法を改善する必要性が増してきている。2012年12月16日、学術雑誌編集者、出版者グループが、サンフランシスコで開催された米国細胞生物学会（ASCB）年次会議の際に会合を持ち、同グループは、「研究評価に関するサンフランシスコ宣言」という一連の勧告を起草。科学研究のアウトプットは多種多様であり、新たな知見を報じる研究論文、データがある。助成機関、研究機関、研究者本人すべてが、科学的アウトプットの品質や重要性の評価を欲し、また必要としている。したがって、科学的アウトプットが正確に測定され、正しく評価されることはきわめて重要である。 The Journal Impact Factor is frequently used as the primary parameter with which to compare the scientific output of individuals and institutions. The Journal Impact Factor, as calculated by Thomson Reuters, was originally created as a tool to help librarians identify journals to purchase, not as a measure of the scientific quality of research in an article. With that in mind, it is critical to understand that the Journal Impact Factor has a number of well-documented deficiencies as a tool for research assessment. These limitations include: A) citation distributions within journals are highly skewed [1–3]; B) the properties of the Journal Impact Factor are field-specific: it is a composite of multiple, highly diverse article types, including primary research papers and reviews [1, 4]; C) Journal Impact Factors can be manipulated (or "gamed") by editorial policy [5]; and D) data used to calculate the Journal Impact Factors are neither transparent nor openly available to the public [4, 6, 7]. インパクトファクターは、研究者や研究機関の科学的アウトプットを比較する上での最大の指標としてひんぱんに利用されている。インパクトファクターは、トムソン・ロイターによって算出されるもので、そもそもは図書館員がどの学術雑誌を購入するかを判断する際の補助ツールとして開発されたのであって、論文に示された研究内容の科学的品質を計るためのものではなかった。それを念頭に、研究評価のためのツールとしてのインパクトファクターの欠点について数多くの指摘がなされていることを理解しておくことは重要である。限界とされているのは、A)★ジャーナル毎の自家引用の発生度合いにひどい歪みがある（1-3）、B)インパクトファクターの性質には分野の特性に依存しているものがある。複数の、高度に異なる�‚s 2006年3月9日(木)　名古屋大学学術機関リポジトリ 公開記念講演会

科学方法論の歴史 Open dataの時代 eサイエンスあるいはデータ中心の科学 資料 No.9-1 数千年前　実験科学（Experimental Science） 　　　自然現象記述 数百年前～　理論科学（Theoretical Science） 　　　ニュートンの法則，マックスウェルの方程式… 数十年前～　計算科学（Computational Science）　 　　　複雑な現象のシミュレーション これから～： eサイエンスあるいはデータ中心の科学 （e-Science or Data-centric Science） 実験，理論，シミュレーションの統合 データ探索やデータ・マイニングの活用 「論文本文はもはやメタデータであり，本当に大事なのは論文の裏にあるデータそのものである」 Open dataの時代 参考：Tony Hey, 2-3 November 2006, University of Stellenbosch, South Africa) Tony Hey2006

結論 研究評価って何？ 現在流布している言説と その実態を知った上で よく考え賢く対応しましょう

2008年刊「オオカミ少女はいなかった 心理学の神話をめ Bibliography 鈴木光太郎. 増補 オオカミ少女はいなかった: スキャンダラスな心理学(ちくま文庫) 筑摩書房. 2015.　 ISBN978-4-480-43269-8 　　2008年刊「オオカミ少女はいなかった 心理学の神話をめ ぐる冒険」も中央図書館に所蔵があります。内容がかなり 更新されているのでこちらのほうがベターです。 吉村富美子.英文ライティングと引用の作法.　盗用と言われないための英文指導.　研究社.　2013. ISBN:978-4-327-41084-1

佐藤翔.学術情報をめぐる新たな評価指標--Impact Factor, h-index, Eigenfactor, Article Influence, Usage Factor. 薬学図書館, vol.54, no.2. p.121-132, 2009. 逸村裕,池内有為. インパクトファクターの功罪. 月刊化学. vol.68,no.12. p.32-36. 2013. 上記は筑波リポジトリに登載されています

最後に一言 着眼大局着手小局

工夫点 １ 聴衆を意識する ２ ストーリー ３ 準備 会場・機器・照明 ４ 練習 ５ 反省 １　聴衆を意識する ２　ストーリー ３　準備　会場・機器・照明 ４　練習 ５　反省 2006年3月9日(木)　名古屋大学学術機関リポジトリ 公開記念講演会