NSRLJPはNSRL(http://www.nsrl.nist.gov/)を補完することを目的としたハッシュデータセット(ハッシュライブラリ)です。
ダウンロード
NSRLJP_202408.7z (SHA-256: e4baca8bedfffb59098609a4267135dd2242e430e51bc9f757bc2351a80f01b5)
(ハッシュ数: 5,268,826, ファイルサイズ: 319,470,599バイト)
免責およびライセンス
個人、商用を問わず自由に利用することができます。ただし、本データセットの利用により生じた問題については責任を負いかねます。
説明
NSRLは数千万規模のハッシュが提供されていて定期的にアップデートされていますが、日本語環境には最適といえません。NSRLJPは、NSRLのフォーマット(RDS)準拠の日本語関連のソフトウェアを中心とするハッシュデータセットを提供します。
NSRLの概要、フォーマットについてはNSRL RDSを参照してください。
(2024-08-29追記)
2023年にRDSv3がリリースされました。SQLite形式になり多くのメタデータを扱うように変更されています。
https://s3.amazonaws.com/rds.nsrl.nist.gov/RDS/RDSv3_Docs/RDSv3.pdf
ハッシュ解析の用途では引き続き以前のRDSv2が主流であるため、NSRLJPもRDSv2形式で公開しています。
RDSv2形式の結果を生成するスクリプトはNSRLJP Scriptで公開しています。
データセット (NSRLJP_202408)
現在のNSRLJPに含まれるOS, アプリケーションのリストとハッシュ数です。不定期で更新します。
| No. | Name | ハッシュ数 | 備考(バージョン等) |
| 1 | Windows XP x64 | 10820 | |
| 2 | Windows XP x86 | 16080 | SP3 |
| 3 | Windows 2003 R2 x64 | 16593 | SP2 |
| 4 | Windows 2003 R2 x86 | 14562 | SP1 |
| 5 | Windows Vista x64 | 22242 | SP2 |
| 6 | Windows Vista x86 | 15437 | SP2 |
| 7 | Windows 7 x64 | 40685 | SP1 |
| 8 | Windows 7 x86 | 15685 | SP1 |
| 9 | Windows 2008 x64 | 41249 | SP2 |
| 10 | Windows 2008 R2 x64 | 9334 | SP1 |
| 11 | Windows 8 x64 | 16145 | |
| 12 | Windows 8 x86 | 13000 | |
| 13 | Windows 8.1 x64 | 22199 | Update |
| 14 | Windows 8.1 x86 | 19690 | Update |
| 15 | Windows 2012 x64 | 45842 | |
| 16 | Windows 2012 R2 x64 | 56929 | Update |
| 17 | Windows 2016 | 64059 | |
| 18 | Windows 10 x64 | 261160 | 1511, 1607, 1703, 1709, 1803, 1809, 1903, 1909, 2004, 20H2, 21H2, 22H2 |
| 19 | Windows 10 x86 | 429425 | 1511, 1607, 1703, 1709, 1803, 1809, 1903, 1909, 2004, 20H2, 21H2, 22H2 |
| 20 | Windows 2019 | 47621 | アップデート(2019/03) 含む |
|
21 |
Windows 11 |
113310 |
21H2, 23H2 |
|
22 |
Windows Server 2022 |
56074 |
アップデート(2022/03) 含む |
| 23 | Office XP | 4468 | SP3 |
| 24 | Office 2003 | 2210 | SP1 |
| 25 | Office 2007 | 2736 | SP2 |
| 26 | Office 2010 | 13680 | SP2 |
| 27 | Office 2013 | 11757 | SP1 |
| 28 | Office 2019 | 4034 | |
| 29 | .NET Framework 2.x | 491 | v2.0 |
| 30 | .NET Framework 3.x | 872 | v3.0, 3.5 |
| 31 | .NET Framework 4.x | 61429 | v4.0, 4.5-4.5.2, 4.6-4.6.2, 4.7-4.7.2, 4.8 |
| 32 | Microsoft .NET SDK | 352067 | 5.0.100-5.0.408, 6.0.100-6.0.424, 7.0.100-7.0.410, 8.0.100-8.0.303 |
| 33 | Windows Update 2006 | 8765 | |
| 34 | Windows Update 2007 | 17145 | 2007年3月分を除く |
| 35 | Windows Update 2008 | 19329 | 2008年3月分を除く |
| 36 | Windows Update 2009 | 36100 | 2009年5月分を除く |
| 37 | Windows Update 2010 | 59359 | 2010年11月分を除く |
| 38 | Windows Update 2011 | 68074 | |
| 39 | Windows Update 2012 | 78872 | 2012年9月分を除く |
| 40 | Windows Update 2013 | 128706 | |
| 41 | Windows Update 2014 | 425232 | |
| 42 | Windows Update 2015 | 430518 | |
| 43 | Windows Update 2016 | 174308 | 1-8月分 |
| 44 | Windows Update 2024 |
395141 |
2024/08まで |
| 45 | Google Chrome | 11367 | 37.0.2062.117-118.0.5993.89 |
| 46 | Firefox | 70894 | 0.8-128.0 |
| 47 | Thunderbird | 49973 | 0.4-127.0 |
| 48 | Opera | 5117 | 6.01-12.17 |
| 49 | Adobe Reader | 176609 | 11.0.23,2015(1500630527), DC(2001320064), 2017(1701130180), 2020(2000530636), Latest(2000620034-2300820421) |
| 50 | Explzh | 1281 | v6.06, v7.01-7.78, v8.17.4, v8.30-8.39, v9.33-9.47 |
| 51 | Lhaz | 153 | v1.36, v.2.1.3, v2.2.4, v2.4.0, v.2.5.1, v3.3.0, v3.4.0, v3.5.1 |
| 52 | Forefront Client Security | 585 | |
| 53 | Hidemaru Editor | 2096 | 4.19-9.35 |
| 54 | Hidemaru Mail | 367 | 6.01-7.32 |
| 55 | Sakura Editor | 324 | 1.6.1.0-1.6.6.0, 2.0.4.0-2.2.0.1 |
| 56 | Terapad | 54 | 1.00-1.2.9 |
| 57 | “Lhaca” | 10 | 0.76, 0.97, 1.24 |
| 58 | “Lhaplus” | 26 | 1.71-1.74 |
| 59 | WSUS Offline | 1168094 | 2019/05/06, 2021/04/09時点 |
| Total | 5268826 |
別々のOSやアプリケーションでも、MD5, SHA-1の両方が同一であるファイルについては、これらは完全に同じファイルであるとみなしハッシュデータセット生成時にいずれか1つにのみ割り当てています。上記のハッシュ数はこの処理をかけた後の値です。
使い方
NSRLJPはNSRLのフォーマット(RDS)に準拠しているため、基本的にはNSRLのインポートに対応しているツールで使うことができます。以下のツールで動作することを確認しています。
- X-ways Forensics
- Autopsy
- Magnet AXIOM
また、動作確認まではしていませんが、OSForensics, FTK, md5deepもNSRLのインポートをサポートしているため使用可能と思われます。
NSRLとNSRLJPの比較例
デフォルト設定でインストールした各環境のイメージに対して、(1)NSRL, (2)NSRLJP, (3)NSRL+NSRLJPを適用した場合に一致するファイル数を比較しました。以下が比較結果です。
(2024-08-29追記/更新: NSRL 2024.03.1 modernをRDSv2に変換、NSRLJP_202408を利用)
| 環境 | 全ファイル数 | (1) NSRL | (2) NSRLJP | (3) NSRL+NSRLJP |
| Windows 11 23H2 [22631.2428] | 173630 | 47751 | 61550 | 75825 |
| Windows 10 22H2 [19045.2006] | 106595 | 68220 | 62482 | 72964 |
| Windows Server 2022 [20348.587] | 101948 | 49126 | 71408 | 71583 |
上記の環境はインストール直後に近い状態であり、NSRLJPを使うことにより大半のファイルが一致しています。ただ、NSRLにも一般的なアプリケーションのデータセットが膨大に含まれているため、実調査ではNSRLとNSRLJPを併用することにより、さらなる効果の向上が見込めます。
ハッシュ解析(ハッシュライブラリとの比較)は古くから用いられている手法ですが、ファイル数の増大状況からもわかるように、データサイズだけでなくファイル数も大幅に増加していく傾向にあるため、今後もフォレンジック分野にとって不可欠な基礎技術であるといえます。
更新履歴
2024/08/20 (NSRLJP_202408 - ハッシュ数: 5,268,826 / ファイルサイズ: 319,470,599バイト)
Windows 10 (21H2, 22H2)、11 (21H2, 23H2)、Windows 2022 (2022/03)を追加しました。その他のメジャーアプリケーションは2024/07時点の最新バージョンまでを含めています。
2021/04/24 (NSRLJP_202104 - ハッシュ数: 4,142,267 / ファイルサイズ: 253,337,631バイト)
Windows 10 (1909, 2004, 20H2)、Windows 2019 (Update 2019/03)、Google Chromeを追加しました。その他のメジャーアプリケーションは2021/04/09時点の最新バージョンまでを含めています。
2019/05/18 (NSRLJP_201905 - ハッシュ数: 3,718,659 / ファイルサイズ: 228,100,979バイト)
Windows 10 (1803, 1809, 1903)、Windows 2019を追加しました。その他のメジャーアプリケーションは2019/05/06時点の最新バージョンまでを含めています。
2018/02/12 (NSRLJP_201802 - ハッシュ数: 2,993,931 / ファイルサイズ: 180,917,699バイト)
Windows 10 (1703, 1709)、Windows 2016を追加しました。その他のメジャーアプリケーションは2018/02/05時点の最新バージョンまでを含めています。なお、Windows UpdateのISOイメージ提供が終了したため、今回からはWSUS Offline Updateを使って取得した更新プログラムを対象に追加しています。
2016/09/20 (NSRLJP_201609 - ハッシュ数: 2,309,928 / ファイルサイズ: 158,073,246バイト)
Windows 10 (1511), Windows 10 Anniversary Update(1607)、.NET Framework 4.6.1, 4.6.2、2016年8月までのWindows Updateを新たに追加し、その他のメジャーアプリケーションは2016/09/15時点の最新バージョンまでを含めています。
2015/08/14 (NSRLJP_201508_rev2 - ハッシュ数: 1,659,348 / ファイルサイズ: 114,136,669バイト)
正しくないレコードが入っていたため、X-Ways ForensicsでMD5ハッシュのインポートをする際にエラーが発生していた点を修正しています。
2015/08/11 (NSRLJP_201508)
Windows 10, .NET Framework 4.5.2, 4.6, Lhaca, Lhaplus, 2015年7月までのWindows Updateを新たに追加し、その他のメジャーアプリケーションは2015/8/3時点の最新バージョンまでを含めています。
2014/08/10 (NSRLJP_201408 - ハッシュ数: 1,096,364 / ファイルサイズ: 75,095,909バイト)
Windows 8.1/2012R2 Update, Office 2013 SP1, Office 2010 SP2, .NET Framework 3.5, 4.0, 4.5.1, 2014年7月までのWindows Update, Forefront Client Security, 日本でシェアの高いテキストエディタ(秀丸、サクラエディタ等) を新たに追加し、その他のメジャーアプリケーションは2014/8/9時点の最新バージョンまでを含めています。
2014/01/22 (NSRLJP_201401 - ハッシュ数: 532,923 / ファイルサイズ: 38,245,480バイト)
Windows 8.1、Windows 2008 R2、Windows 2012 R2を新たに追加し、メジャーアプリケーションは2014/1時点の最新バージョンまでを含めています。また、Windows更新プログラム類は言語非依存(ENU, NEU)のプログラムも多かったため、それらもNSRLJPに含めました。
2013/08/03 (NSRLJP_201308 - ハッシュ数: 401,211 / ファイルサイズ: 28,657,266バイト)
Windows更新プログラム類(http://support.microsoft.com/kb/913086/ja)やAdobe, Firefoxなどのメジャーなアプリケーションプログラムの日本語版のハッシュライブラリを追加し、データセット一覧を更新しています。
2013/01/27 (NSRLJP_201301 - ハッシュ数: 284,419 / ファイルサイズ: 20,673,998バイト)
Windows 8/2012, Office XP/2003/2007/2010/2013, .NET 2.0/3.0/4.5の各日本語版のハッシュライブラリを追加して、NSRLJP_201301としてアップデートしました。