NSRLJP

kazamiya が 2019/05/18 (土) - 10:27 に投稿

NSRLJPはNSRL(http://www.nsrl.nist.gov/)を補完することを目的としたハッシュデータセット(ハッシュライブラリ)です。

ダウンロード

NSRLJP_201905.7z (SHA-256: ab9cfed5226e9ee2e8a4c0994e252dacfa1df7c4bd3cc832836924a7183789dc)
(ハッシュ数: 3,718,659、ファイルサイズ: 228,100,979バイト)

免責およびライセンス

個人、商用を問わず自由に利用することができます。ただし、本データセットの利用により生じた問題については責任を負いかねます。

説明

NSRLは数千万規模のハッシュが提供されていて定期的にアップデートされていますが、日本語環境には最適といえません。NSRLJPは、NSRLのフォーマット(RDS)準拠の日本語関連のソフトウェアを中心とするハッシュデータセットを提供します。NSRLの概要、フォーマットについてはNSRL RDSを参照してください。

データセット (NSRLJP_201905)

現在のNSRLJPに含まれるOS, アプリケーションのリストとハッシュ数です。不定期で更新します。

No.

名前

ハッシュ数

備考

1

Windows 7 x64 JP

40687

SP1

2

Windows 7 x86 JP

15687

SP1

3

Windows 2008 x64 JP

41250

SP2

4

Windows Vista x64 JP

22242

SP2

5

Windows Vista x86 JP

15437

SP2

6

Windows 2003 R2 x64 JP

16593

SP2

7

Windows 2003 R2 x86 JP

14562

SP2

8

Windows XP x86 JP

16080

SP3

9

Windows 2012 x64 JP

46186

 

10

Windows 8 x64 JP

16145

 

11

Office 2013 JP

12025

SP1

12

Office 2010 JP

13680

SP2

13

Office 2007 JP

2736

SP2

14

Office 2003 JP

2210

SP3

15

Office XP JP

4497

SP3

16

.NET Framework 4.x JP

50113

バージョン4.0, 4.5-4.5.2, 4.6-4.6.2, 4.7-4.7.2

17

.NET Framework 3.x JP

872

バージョン3.0, 3.5

18

.NET Framework 2.x JP

491

バージョン2.0

19

Windows 8 x86 JP

13000

 

20

Windows Update 2006 JPN/ENU/NEU

8765

 

21

Windows Update 2007 JPN/ENU/NEU

17145

2007年3月分を除く

22

Windows Update 2008 JPN/ENU/NEU

19329

2008年3月分を除く

23

Windows Update 2009 JPN/ENU/NEU

36100

2009年5月分を除く

24

Windows Update 2010 JPN/ENU/NEU

59359

2010年11月分を除く

25

Windows Update 2011 JPN/ENU/NEU

68074

 

26

Windows Update 2012 JPN/ENU/NEU

78872

2012年9月分を除く

27

Windows Update 2013 JPN/ENU/NEU

128708

 

28

Firefox JP

65647

バージョン0.8-66.0.3まで

29

Thunderbird JP

45679

バージョン0.4-60.6.1まで

30

Opera JP(INT)

5117

バージョン6.01-12.17まで

31

Adobe Reader JP

129589

バージョン6.x-11.0.23, 2015(1500630033-1500630493), DC(1500720033-1901020099), 2017(1700830051-1701130138)まで

32

Explzh

908

バージョン6.06, 7.01-7.78まで

33

Lhaz

153

バージョン1.36, 2.1.3, 2.2.4, 2.4.0, 2.5.1, 3.3.0, 3.4.0, 3.5.1

34

Windows XP x64

10820

 

35

Windows 2008 R2 x64

9335

SP1

36

Windows 2012 R2 x64

56931

Update

37

Windows 8.1 x64

22199

Update

38

Windows 8.1 x86

19690

Update

39

Windows Update 2014 JPN/ENU/NEU

425507

 

40

Forefront Client Security

585

 

41

秀丸エディタ

1733

バージョン4.19-8.88

42

秀丸メール

301

バージョン6.01-6.91

43

サクラエディタ

324

バージョン1.6.1.0-1.6.6.0, 2.0.4.0-2.2.0.1

44

TeraPad

44

バージョン 1.00-1.09

45

Windows Update 2015 JPN/ENU/NEU

430530

 

46

Windows 10 x64

302198

バージョン 1511, 1607, 1703, 1709, 1803, 1809, 1903

47

Windows 10 x86

193058

バージョン 1511, 1607, 1703, 1709, 1803, 1809, 1903

48

Lhaca

10

0.76, 0.97, 1.24

49

Lhaplus

26

1.71-1.73

50

Windows Update 2016 JPN/ENU/NEU

174336

1-8月分まで

51

Windows Server 2016

64072

アップデート(2017/01, 2018/02) 含む

52

WSUS Offline Update

975876

2019/05/06時点

53

Windows Server 2019

23146

アップデート(2019/03) 含む

 

Total

3718659

 

別々のOSやアプリケーションでも、MD5, SHA-1の両方が同一であるファイルについては、これらは完全に同じファイルであるとみなしハッシュデータセット生成時にいずれか1つにのみ割り当てています。上記のハッシュ数はこの処理をかけた後の値です。

使い方

NSRLJPはNSRLのフォーマット(RDS)に準拠しているため、基本的にはNSRLのインポートに対応しているツールで使うことができます。以下のツールで動作することを確認しています。

  • X-ways Forensics
  • Autopsy 3.x/4.x
  • EnCase 6.x/7.x/8.x
  • OSForensics

また、動作確認まではしていませんが、FTKやmd5deepもNSRLのインポートをサポートしているため使用可能と思われます。

NSRLとNSRLJPの比較例

デフォルト設定でインストールした各環境のイメージに対して、(1)NSRL, (2)NSRLJP, (3)NSRL+NSRLJPを適用した場合に一致するファイル数を比較しました。以下が比較結果です。

環境

全ファイル数

(1) NSRL

(2) NSRLJP

(3) NSRL+NSRLJP

Windows 10 Pro (x64) JP

140370

10875

99662

99924

Windows 7 Ultimate SP1 (x64) JP

68995

16244

68059

68076

Windows Server 2008 Standard SP1 (x64) JP

64805

12350

53256

53547

Windows XP Professional SP3 (x86) JP

11050

5507

8170

8420

上記の環境はインストール直後に近い状態であり、NSRLJPを使うことにより大半のファイルが一致しています。ただ、NSRLにも一般的なアプリケーションのデータセットが膨大に含まれているため、実調査ではNSRLとNSRLJPを併用することにより、さらなる効果の向上が見込めます。

ハッシュ解析(ハッシュライブラリとの比較)は古くから用いられている手法ですが、ファイル数の増大状況からもわかるように、データサイズだけでなくファイル数も大幅に増加していく傾向にあるため、今後もフォレンジック分野にとって不可欠な基礎技術であるといえます。

更新履歴

2019/05/18

NSRLJP_201905にアップデートしました。(ハッシュ数: 3,718,659 / ファイルサイズ: 228,100,979バイト)

Windows 10 (1803, 1809, 1903)、Windows 2019を追加しました。その他のメジャーアプリケーションは2019/05/06時点の最新バージョンまでを含めています。

2018/02/12

NSRLJP_201802にアップデートしました。(ハッシュ数: 2,993,931 / ファイルサイズ: 180,917,699バイト)

Windows 10 (1703, 1709)、Windows 2016を追加しました。その他のメジャーアプリケーションは2018/02/05時点の最新バージョンまでを含めています。なお、Windows UpdateのISOイメージ提供が終了したため、今回からはWSUS Offline Updateを使って取得した更新プログラムを対象に追加しています。

2016/09/20

NSRLJP_201609にアップデートしました。(ハッシュ数: 2,309,928 / ファイルサイズ: 158,073,246バイト)

Windows 10 (1511), Windows 10 Anniversary Update(1607)、.NET Framework 4.6.1, 4.6.2、2016年8月までのWindows Updateを新たに追加し、その他のメジャーアプリケーションは2016/09/15時点の最新バージョンまでを含めています。

2015/08/14

NSRLJP_201508_rev2にアップデートしました。(ハッシュ数: 1,659,348 / ファイルサイズ: 114,136,669バイト)

正しくないレコードが入っていたため、X-Ways ForensicsでMD5ハッシュのインポートをする際にエラーが発生していた点を修正しています。

2015/08/11

NSRLJP_201508にアップデートしました。

Windows 10, .NET Framework 4.5.2, 4.6, Lhaca, Lhaplus, 2015年7月までのWindows Updateを新たに追加し、その他のメジャーアプリケーションは2015/8/3時点の最新バージョンまでを含めています。

2014/08/10

NSRLJP_201408にアップデートしました。(ハッシュ数: 1,096,364 / ファイルサイズ: 75,095,909バイト)

Windows 8.1/2012R2 Update, Office 2013 SP1, Office 2010 SP2, .NET Framework 3.5, 4.0, 4.5.1, 2014年7月までのWindows Update, Forefront Client Security, 日本でシェアの高いテキストエディタ(秀丸、サクラエディタ等) を新たに追加し、その他のメジャーアプリケーションは2014/8/9時点の最新バージョンまでを含めています。

2014/01/22

NSRLJP_201401にアップデートしました。(ハッシュ数: 532,923 / ファイルサイズ: 38,245,480バイト)

Windows 8.1、Windows 2008 R2、Windows 2012 R2を新たに追加し、メジャーアプリケーションは2014/1時点の最新バージョンまでを含めています。また、Windows更新プログラム類は言語非依存(ENU, NEU)のプログラムも多かったため、それらもNSRLJPに含めました。

2013/08/03

NSRLJP_201308にアップデートしました。(ハッシュ数: 401,211 / ファイルサイズ: 28,657,266バイト)

Windows更新プログラム類(http://support.microsoft.com/kb/913086/ja)やAdobe, Firefoxなどのメジャーなアプリケーションプログラムの日本語版のハッシュライブラリを追加し、データセット一覧を更新しています。

2013/01/27

NSRLJP_201301にアップデートしました。(ハッシュ数: 284,419 / ファイルサイズ: 20,673,998バイト)

Windows 8/2012, Office XP/2003/2007/2010/2013, .NET 2.0/3.0/4.5の各日本語版のハッシュライブラリを追加して、NSRLJP_201301としてアップデートしました。

2011/09

初版リリースしました。(ハッシュ数: 187,430 / ファイルサイズ: 13,817,931バイト)