NSRLJP

NSRLJPはNSRL(http://www.nsrl.nist.gov/)を補完することを目的としたハッシュデータセット(ハッシュライブラリ)です。

ダウンロード

NSRLJP_201802.7z (SHA-256: 9b0e1a12e87a52daa3a65799313a65e7b5ecf03f6581adc38a98ea38717f4766)
(ハッシュ数: 2,993,921、ファイルサイズ: 180,917,699バイト)

免責およびライセンス

個人、商用を問わず自由に利用することができます。ただし、本データセットの利用により生じた問題については責任を負いかねます。

説明

NSRLは数千万規模のハッシュが提供されていて定期的にアップデートされていますが、日本語環境には最適といえません。NSRLJPは、NSRLのフォーマット(RDS)準拠の日本語関連のソフトウェアを中心とするハッシュデータセットを提供します。NSRLの概要、フォーマットについてはNSRL RDSを参照してください。

データセット (NSRLJP_201802)

現在のNSRLJPに含まれるOS, アプリケーションのリストとハッシュ数です。不定期で更新します。

No.

名前

ハッシュ数

備考

1

Windows 7 x64 JP

40767

SP1

2

Windows 7 x86 JP

15683

SP1

3

Windows 2008 x64 JP

41462

SP2

4

Windows Vista x64 JP

22074

SP2

5

Windows Vista x86 JP

15431

SP2

6

Windows 2003 R2 x64 JP

22996

SP2

7

Windows 2003 R2 x86 JP

12469

SP2

8

Windows XP x86 JP

16106

SP3

9

Windows 2012 x64 JP

46146

 

10

Windows 8 x64 JP

16183

 

11

Office 2013 JP

12238

SP1

12

Office 2010 JP

13690

SP2

13

Office 2007 JP

2767

SP2

14

Office 2003 JP

2130

SP3

15

Office XP JP

4184

SP3

16

.NET Framework 4.x JP

24454

バージョン4.0, 4.5, 4.5.1, 4.5.2, 4.6, 4.6.1, 4.6.2

17

.NET Framework 3.x JP

882

バージョン3.0, 3.5

18

.NET Framework 2.x JP

459

バージョン2.0

19

Windows 8 x86 JP

12988

 

20

Windows Update 2006 JPN/ENU/NEU

8766

 

21

Windows Update 2007 JPN/ENU/NEU

17159

2007年3月分を除く

22

Windows Update 2008 JPN/ENU/NEU

19362

2008年3月分を除く

23

Windows Update 2009 JPN/ENU/NEU

36057

2009年5月分を除く

24

Windows Update 2010 JPN/ENU/NEU

59327

2010年11月分を除く

25

Windows Update 2011 JPN/ENU/NEU

68035

 

26

Windows Update 2012 JPN/ENU/NEU

78854

2012年9月分を除く

27

Windows Update 2013 JPN/ENU/NEU

128702

 

28

Firefox JP

54632

バージョン0.8-58.0.1まで

29

Thunderbird JP

31782

バージョン0.4-52.6.0まで

30

Opera JP(INT)

5120

バージョン6.01-12.17まで

31

Adobe Reader JP

94949

バージョン6.x-11.0.23, 2015(1500630033-150630394), DC(1500720033-1800920050), 2017(1700830051-1701130070)まで

32

Explzh

768

バージョン6.06, 7.01-7.57まで

33

Lhaz

154

バージョン1.36, 2.1.3, 2.2.4, 2.4.0, 2.5.1, 3.3.0, 3.4.0, 3.5.1

34

Windows XP x64

6478

 

35

Windows 2008 R2 x64

9292

SP1

36

Windows 2012 R2 x64

56871

Update

37

Windows 8.1 x64

22172

Update

38

Windows 8.1 x86

19676

Update

39

Windows Update 2014 JPN/ENU/NEU

425862

 

40

Forefront Client Security

588

 

41

秀丸エディタ

410

バージョン4.19-8.77

42

秀丸メール

276

バージョン6.01-6.78

43

サクラエディタ

324

バージョン1.6.1.0-1.6.6.0, 2.0.4.0-2.2.0.1

44

TeraPad

44

バージョン 1.00-1.09

45

Windows Update 2015 JPN/ENU/NEU

429957

 

46

Windows 10 x64

159204

バージョン 1511, 1607, 1703, 1709

47

Windows 10 x86

132617

バージョン 1511, 1607, 1703, 1709

48

Lhaca

10

0.76, 0.97, 1.24

49

Lhaplus

26

1.71-1.73

50

Windows Update 2016 JPN/ENU/NEU

174224

1-8月分まで

51

Windows Server 2016

45770

 

52

WSUS Offline Update

583344

2018/02/05時点

 

Total

2993931

 

別々のOSやアプリケーションでも、MD5, SHA-1の両方が同一であるファイルについては、これらは完全に同じファイルであるとみなしハッシュデータセット生成時にいずれか1つにのみ割り当てています。上記のハッシュ数はこの処理をかけた後の値です。

使い方

NSRLJPはNSRLのフォーマット(RDS)に準拠しているため、基本的にはNSRLのインポートに対応しているツールで使うことができます。以下のツールで動作することを確認しています。

  • X-ways Forensics
  • Autopsy 3.x/4.x
  • EnCase 6.x/7.x/8.x
  • OSForensics

また、動作確認まではしていませんが、FTKやmd5deepもNSRLのインポートをサポートしているため使用可能と思われます。

NSRLとNSRLJPの比較例

デフォルト設定でインストールした各環境のイメージに対して、(1)NSRL, (2)NSRLJP, (3)NSRL+NSRLJPを適用した場合に一致するファイル数を比較しました。以下が比較結果です。

環境

全ファイル数

(1) NSRL

(2) NSRLJP

(3) NSRL+NSRLJP

Windows 10 Pro (x64) JP

140370

10875

99662

99924

Windows 7 Ultimate SP1 (x64) JP

68995

16244

68059

68076

Windows Server 2008 Standard SP1 (x64) JP

64805

12350

53256

53547

Windows XP Professional SP3 (x86) JP

11050

5507

8170

8420

上記の環境はインストール直後に近い状態であり、NSRLJPを使うことにより大半のファイルが一致しています。ただ、NSRLにも一般的なアプリケーションのデータセットが膨大に含まれているため、実調査ではNSRLとNSRLJPを併用することにより、さらなる効果の向上が見込めます。

ハッシュ解析(ハッシュライブラリとの比較)は古くから用いられている手法ですが、XPと2008/7のファイル数の比較からもわかるように、データサイズだけでなくファイル数も大幅に増加していく傾向にあるため、今後もフォレンジック分野にとって不可欠な基礎技術であるといえます。

更新履歴

2018/02/12

NSRLJP_201802にアップデートしました。(ハッシュ数: 2,993,931 / ファイルサイズ: 180,917,699バイト)

Windows 10 (1703, 1709)、Windows 2016を追加しました。その他のメジャーアプリケーションは2018/02/05時点の最新バージョンまでを含めています。なお、Windows UpdateのISOイメージ提供が終了したため、今回からはWSUS Offline Updateを使って取得した更新プログラムを対象に追加しています。

2016/09/20

NSRLJP_201609にアップデートしました。(ハッシュ数: 2,309,928 / ファイルサイズ: 158,073,246バイト)

Windows 10 (1511), Windows 10 Anniversary Update(1607)、.NET Framework 4.6.1, 4.6.2、2016年8月までのWindows Updateを新たに追加し、その他のメジャーアプリケーションは2016/09/15時点の最新バージョンまでを含めています。

2015/08/14

NSRLJP_201508_rev2にアップデートしました。(ハッシュ数: 1,659,348 / ファイルサイズ: 114,136,669バイト)

正しくないレコードが入っていたため、X-Ways ForensicsでMD5ハッシュのインポートをする際にエラーが発生していた点を修正しています。

2015/08/11

NSRLJP_201508にアップデートしました。

Windows 10, .NET Framework 4.5.2, 4.6, Lhaca, Lhaplus, 2015年7月までのWindows Updateを新たに追加し、その他のメジャーアプリケーションは2015/8/3時点の最新バージョンまでを含めています。

2014/08/10

NSRLJP_201408にアップデートしました。(ハッシュ数: 1,096,364 / ファイルサイズ: 75,095,909バイト)

Windows 8.1/2012R2 Update, Office 2013 SP1, Office 2010 SP2, .NET Framework 3.5, 4.0, 4.5.1, 2014年7月までのWindows Update, Forefront Client Security, 日本でシェアの高いテキストエディタ(秀丸、サクラエディタ等) を新たに追加し、その他のメジャーアプリケーションは2014/8/9時点の最新バージョンまでを含めています。

2014/01/22

NSRLJP_201401にアップデートしました。(ハッシュ数: 532,923 / ファイルサイズ: 38,245,480バイト)

Windows 8.1、Windows 2008 R2、Windows 2012 R2を新たに追加し、メジャーアプリケーションは2014/1時点の最新バージョンまでを含めています。また、Windows更新プログラム類は言語非依存(ENU, NEU)のプログラムも多かったため、それらもNSRLJPに含めました。

2013/08/03

NSRLJP_201308にアップデートしました。(ハッシュ数: 401,211 / ファイルサイズ: 28,657,266バイト)

Windows更新プログラム類(http://support.microsoft.com/kb/913086/ja)やAdobe, Firefoxなどのメジャーなアプリケーションプログラムの日本語版のハッシュライブラリを追加し、データセット一覧を更新しています。

2013/01/27

NSRLJP_201301にアップデートしました。(ハッシュ数: 284,419 / ファイルサイズ: 20,673,998バイト)

Windows 8/2012, Office XP/2003/2007/2010/2013, .NET 2.0/3.0/4.5の各日本語版のハッシュライブラリを追加して、NSRLJP_201301としてアップデートしました。

2011/09

初版リリースしました。(ハッシュ数: 187,430 / ファイルサイズ: 13,817,931バイト)