LANDER:DARPA Scalable Network Monitoring-20091103 From Predict README version: 8431, last modified: 2018-02-13. This file describes the trace dataset "DARPA_Scalable_Network_Monitoring-20091103" provided by the LANDER project. Contents • 1 LANDER Metadata • 2 Dataset Contents • 3 Dataset Generation • 4 Citation • 5 Results Using This Dataset • 6 User Annotations LANDER Metadata ┌───────────────────────────┬────────────────────────────────────────────────────────────────────────────────────┐ │ dataSetName │ DARPA_Scalable_Network_Monitoring-20091103 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ status │ usc-web-and-predict │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ shortDesc │ Synthetic traffic and network attacks │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ longDesc │ The 2009 DARPA dataset is a synthesized dataset created to simulate real Internet │ │ │ traffic and network attacks. Its duration is 10 days, between November 3 - 12, │ │ │ 2009. The dataset is about 6.4 TB, divided into thousands of pcap files of 954M │ │ │ each. The traffic contains synthetic HTTP, SMTP, and DNS background data. The │ │ │ attacks are large scale network attacks including DNS worms, http worms, and DDoS │ │ │ attacks. The worms and DDoS attacks have been parameterized to exhibit various │ │ │ propagation characteristics. │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ datasetClass │ Quasi-Restricted │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ commercialAllowed │ true │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ requestReviewRequired │ true │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ productReviewRequired │ false │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ ongoingMeasurement │ false │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ submissionMethod │ Upload │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ collectionStartDate │ 2009-11-03 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ collectionStartTime │ 00:00:00 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ collectionEndDate │ 2009-11-12 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ collectionEndTime │ 00:00:00 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ availabilityStartDate │ 2017-05-24 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ availabilityStartTime │ 00:00:00 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ availabilityEndDate │ 2030-01-01 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ availabilityEndTime │ 00:00:00 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ anonymization │ none │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ archivingAllowed │ false │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ keywords │ category:synthetically-generated-data, subcategory:experimental-data, Network │ │ │ attacks, Synthetically generated traffic │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ format │ pcap │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ access │ https │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ hostName │ USC-LANDER │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ providerName │ USC │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ groupingId │ │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ groupingSummaryFlag │ false │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ retrievalInstructions │ download │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ byteSize │ 1454299414528 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ expirationDays │ 365 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ uncompressedSize │ 6983413241271 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ impactDoi │ 10.23721/111/1354735 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ useAgreement │ dua-ni-160816 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ irbRequired │ false │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ privateAccessInstructions │ See https://ant.isi.edu/datasets/#getting-datasets for information on obtaining │ │ │ this dataset. │ │ │ See │ └───────────────────────────┴────────────────────────────────────────────────────────────────────────────────────┘ Dataset Contents DARPA_Scalable_Network_Monitoring-20091103.README.txt      copy of this README Data/     mypcap_200911*.pcap.gz compressed pcap files     .sha1sum SHA-1 checksum The file ".sha1sum" contains SHA1 checksums of individual compressed files. The integrity of the distribution thus can be checked by independently calculating SHA1 sums of files and comparing them with those listed in the file. If you have the sha1sum utility installed on your system, you can do that by executing: sha1sum --check .sha1sum This needs to be done before the files are uncompressed. Dataset Generation The dataset is created as part of the 2009 DARPA Scalable Network Monitoring (SNM) Program Traffic. The dataset is created using synthesized traffic to emulate traffic between a /16 subent (172.28.0.0/16) and the Internet. Citation If you use this trace to conduct additional research, please cite it as: DARPA Scalable Network Monitoring (SNM) Program Traffic, IMPACT ID: USC-LANDER/DARPA_Scalable_Network_Monitoring-20091103/rev8431 . Traces taken 2009-11-03 to 2009-11-12. Provided by the USC/LANDER project (http://www.isi.edu/ant/lander). Results Using This Dataset Traces similar to this one have been used the following previously published work: • Manaf Gharaibeh, and Christos Papadopoulos. DARPA 2009 Intrusion Detection Dataset. Technical Report, Colorado State University, August 2014. http://www.darpa2009.netsec.colostate.edu/ User Annotations The website http://www.darpa2009.netsec.colostate.edu is no longer available, but the key parts of that website are a technical report by Gharaibeh and Papadopoulos that summarizes the dataset, and a spreadsheet listing 8223 specific events. A copy of this report is at https://www.isi.edu/~johnh/PAPERS/Gharaibeh14a.pdf and https://www.isi.edu/~johnh/PAPERS/Gharaibeh14a.xlsx Categories: • Datasets • LANDER • LANDER:Datasets • LANDER:Datasets:AddressSpace:Adaptive Probing • LANDER:Datasets:AddressSpace • LANDER:Datasets:PCH