NSRLJP

kazamiya が 2021/04/24 (土) - 21:50 に投稿

NSRLJPはNSRL(http://www.nsrl.nist.gov/)を補完することを目的としたハッシュデータセット(ハッシュライブラリ)です。

ダウンロード

NSRLJP_202104.7z (SHA-256: ccf8cba3b4dbfd7c1252dbaaccbb661861794b205ad3a1d7884e785e12ca5d4d)
(ハッシュ数: 4,142,267, ファイルサイズ: 253,337,631バイト)

免責およびライセンス

個人、商用を問わず自由に利用することができます。ただし、本データセットの利用により生じた問題については責任を負いかねます。

説明

NSRLは数千万規模のハッシュが提供されていて定期的にアップデートされていますが、日本語環境には最適といえません。NSRLJPは、NSRLのフォーマット(RDS)準拠の日本語関連のソフトウェアを中心とするハッシュデータセットを提供します。NSRLの概要、フォーマットについてはNSRL RDSを参照してください。

データセット (NSRLJP_202104)

現在のNSRLJPに含まれるOS, アプリケーションのリストとハッシュ数です。不定期で更新します。

No. Name ハッシュ数 備考(バージョン等)
1 Windows XP x64 10820  
2 Windows XP x86 16080 SP3
3 Windows 2003 R2 x64 16593 SP2
4 Windows 2003 R2 x86 14562 SP1
5 Windows Vista x64 22242 SP2
6 Windows Vista x86 15437 SP2
7 Windows 7 x64 40687 SP1
8 Windows 7 x86 15687 SP1
9 Windows 2008 x64 41249 SP2
10 Windows 2008 R2 x64 9335 SP1
11 Windows 8 x64 16145  
12 Windows 8 x86 13000  
13 Windows 8.1 x64 22199 Update
14 Windows 8.1 x86 19690 Update
15 Windows 2012 x64 45842  
16 Windows 2012 R2 x64 56929 Update
17 Windows 2016 64060  
18 Windows 10 x64 382617 1511, 1607, 1703, 1709, 1803, 1809, 1903, 1909, 2004, 20H2
19 Windows 10 x86 240783 1511, 1607, 1703, 1709, 1803, 1809, 1903, 1909, 2004, 20H2
20 Windows 2019 47623 アップデート(2019/03) 含む
21 Office XP 4468 SP3
22 Office 2003 2210 SP1
23 Office 2007 2736 SP2
24 Office 2010 13680 SP2
25 Office 2013 11757 SP1
26 Office 2019 4036  
27 .NET Framework 2.x 491 v2.0
28 .NET Framework 3.x 872 v3.0, 3.5
29 .NET Framework 4.x 61429 v4.0, 4.5-4.5.2, 4.6-4.6.2, 4.7-4.7.2, 4.8
30 .NET5.x 1896  
31 Windows Update 2006 8765  
32 Windows Update 2007 17145 2007年3月分を除く
33 Windows Update 2008 19329 2008年3月分を除く
34 Windows Update 2009 36100 2009年5月分を除く
35 Windows Update 2010 59359 2010年11月分を除く
36 Windows Update 2011 68074  
37 Windows Update 2012 78872 2012年9月分を除く
38 Windows Update 2013 128707  
39 Windows Update 2014 425330  
40 Windows Update 2015 430520  
41 Windows Update 2016 174312 1-8月分
42 Google Chrome 3489 73.0.3683.103-88.0.4324.104
43 Firefox 70894 0.8-87.0
44 Thunderbird 49973 0.4-78.9.1
45 Opera 5117 6.01-12.17
46 Adobe Reader 176609 6.x-11.0.23, 2015(-1500630527), DC(-2001320064), 2017(-1701130180), 2020(-2000130010)
47 Explzh 1105 6.06, 7.01-7.78, 8.17.4, 8.30-8.39
48 Lhaz 153 1.36, 2.1.3, 2.2.4, 2.4.0, 2.5.1, 3.3.0, 3.4.0, 3.5.1
49 Forefront Client Security 585  
50 Hidemaru Editor 1898 4.19-8.97
51 Hidemaru Mail 298 6.01-6.98
52 Sakura Editor 324 1.6.1.0-1.6.6.0, 2.0.4.0-2.2.0.1
53 Terapad 44 1.00-1.09
54 “Lhaca” 10 0.76, 0.97, 1.24
55 “Lhaplus” 26 1.71-1.74
56 WSUS Offline 1170074 2019/05/06, 2021/04/09時点
  Total 4142267  

別々のOSやアプリケーションでも、MD5, SHA-1の両方が同一であるファイルについては、これらは完全に同じファイルであるとみなしハッシュデータセット生成時にいずれか1つにのみ割り当てています。上記のハッシュ数はこの処理をかけた後の値です。

使い方

NSRLJPはNSRLのフォーマット(RDS)に準拠しているため、基本的にはNSRLのインポートに対応しているツールで使うことができます。以下のツールで動作することを確認しています。

  • X-ways Forensics
  • Autopsy 4.x
  • Magnet AXIOM 4.x

また、動作確認まではしていませんが、OSForensics, FTK, md5deepもNSRLのインポートをサポートしているため使用可能と思われます。

NSRLとNSRLJPの比較例

デフォルト設定でインストールした各環境のイメージに対して、(1)NSRL, (2)NSRLJP, (3)NSRL+NSRLJPを適用した場合に一致するファイル数を比較しました。以下が比較結果です。

環境

全ファイル数

(1) NSRL

(2) NSRLJP

(3) NSRL+NSRLJP

Windows 10 Pro (x64) JP

140370

10875

99662

99924

Windows 7 Ultimate SP1 (x64) JP

68995

16244

68059

68076

Windows Server 2008 Standard SP1 (x64) JP

64805

12350

53256

53547

Windows XP Professional SP3 (x86) JP

11050

5507

8170

8420

上記の環境はインストール直後に近い状態であり、NSRLJPを使うことにより大半のファイルが一致しています。ただ、NSRLにも一般的なアプリケーションのデータセットが膨大に含まれているため、実調査ではNSRLとNSRLJPを併用することにより、さらなる効果の向上が見込めます。

ハッシュ解析(ハッシュライブラリとの比較)は古くから用いられている手法ですが、ファイル数の増大状況からもわかるように、データサイズだけでなくファイル数も大幅に増加していく傾向にあるため、今後もフォレンジック分野にとって不可欠な基礎技術であるといえます。

更新履歴

2021/04/24 (NSRLJP_202104 - ハッシュ数: 4,142,267 / ファイルサイズ: 253,337,631バイト)

Windows 10 (1909, 2004, 20H2)、Windows 2019 (Update 2019/03)、Google Chromeを追加しました。その他のメジャーアプリケーションは2021/04/09時点の最新バージョンまでを含めています。

2019/05/18 (NSRLJP_201905 - ハッシュ数: 3,718,659 / ファイルサイズ: 228,100,979バイト)

Windows 10 (1803, 1809, 1903)、Windows 2019を追加しました。その他のメジャーアプリケーションは2019/05/06時点の最新バージョンまでを含めています。

2018/02/12 (NSRLJP_201802 - ハッシュ数: 2,993,931 / ファイルサイズ: 180,917,699バイト)

Windows 10 (1703, 1709)、Windows 2016を追加しました。その他のメジャーアプリケーションは2018/02/05時点の最新バージョンまでを含めています。なお、Windows UpdateのISOイメージ提供が終了したため、今回からはWSUS Offline Updateを使って取得した更新プログラムを対象に追加しています。

2016/09/20 (NSRLJP_201609 - ハッシュ数: 2,309,928 / ファイルサイズ: 158,073,246バイト)

Windows 10 (1511), Windows 10 Anniversary Update(1607)、.NET Framework 4.6.1, 4.6.2、2016年8月までのWindows Updateを新たに追加し、その他のメジャーアプリケーションは2016/09/15時点の最新バージョンまでを含めています。

2015/08/14 (NSRLJP_201508_rev2 - ハッシュ数: 1,659,348 / ファイルサイズ: 114,136,669バイト)

正しくないレコードが入っていたため、X-Ways ForensicsでMD5ハッシュのインポートをする際にエラーが発生していた点を修正しています。

2015/08/11 (NSRLJP_201508)

Windows 10, .NET Framework 4.5.2, 4.6, Lhaca, Lhaplus, 2015年7月までのWindows Updateを新たに追加し、その他のメジャーアプリケーションは2015/8/3時点の最新バージョンまでを含めています。

2014/08/10 (NSRLJP_201408 - ハッシュ数: 1,096,364 / ファイルサイズ: 75,095,909バイト)

Windows 8.1/2012R2 Update, Office 2013 SP1, Office 2010 SP2, .NET Framework 3.5, 4.0, 4.5.1, 2014年7月までのWindows Update, Forefront Client Security, 日本でシェアの高いテキストエディタ(秀丸、サクラエディタ等) を新たに追加し、その他のメジャーアプリケーションは2014/8/9時点の最新バージョンまでを含めています。

2014/01/22 (NSRLJP_201401 - ハッシュ数: 532,923 / ファイルサイズ: 38,245,480バイト)

Windows 8.1、Windows 2008 R2、Windows 2012 R2を新たに追加し、メジャーアプリケーションは2014/1時点の最新バージョンまでを含めています。また、Windows更新プログラム類は言語非依存(ENU, NEU)のプログラムも多かったため、それらもNSRLJPに含めました。

2013/08/03 (NSRLJP_201308 - ハッシュ数: 401,211 / ファイルサイズ: 28,657,266バイト)

Windows更新プログラム類(http://support.microsoft.com/kb/913086/ja)やAdobe, Firefoxなどのメジャーなアプリケーションプログラムの日本語版のハッシュライブラリを追加し、データセット一覧を更新しています。

2013/01/27 (NSRLJP_201301 - ハッシュ数: 284,419 / ファイルサイズ: 20,673,998バイト)

Windows 8/2012, Office XP/2003/2007/2010/2013, .NET 2.0/3.0/4.5の各日本語版のハッシュライブラリを追加して、NSRLJP_201301としてアップデートしました。

2011/09 (初版 - ハッシュ数: 187,430 / ファイルサイズ: 13,817,931バイト)