组会记录

组会记录贴

研究方向和论文阅读

Posted by gxkyrftx on January 15, 2020

1.选方向

1.1 hadoop安全

1.1.1 Hadoop中的安全相关的项目

BDA -Hadoop和Spark的漏洞检测器

http://hadoopecosystemtable.github.io/

安全 描述 项目地址
阿帕奇哨兵 Sentry是企业级大数据安全性的下一步，它为存储在Apache Hadoop中的数据提供细粒度的授权。Sentry是与开放源代码SQL查询引擎Apache Hive和Cloudera Impala集成的独立安全模块，可提供高级授权控制，以启用多用户应用程序和企业数据集的跨功能流程。Sentry是Cloudera开发的。  
Apache Knox网关 为Apache Hadoop集群提供单点安全访问的系统。目的是简化用户（即访问集群数据并执行作业）和操作员（即控制访问并管理集群的操作员）的Hadoop安全性。网关作为服务一个或多个Hadoop群集的服务器（或服务器群集）运行。 1. Apache Knox 2. Apache Knox网关Hortonworks网站
阿帕奇游侠 Apache Argus Ranger（以前称为Apache Argus或HDP Advanced Security）为身份验证，授权，计费和数据保护的核心企业安全要求提供了用于中央安全策略管理的综合方法。它扩展了基线功能，以跨批处理，交互式SQL和实时跨Hadoop工作负载进行协调实施，并利用可扩展架构对其他Hadoop生态系统组件（HDFS，Hive和HBase之外）（包括Storm，Solr，Spark和更多。 1. Apache Ranger 2. Apache Ranger Hortonworks网站

1.1.2 项目相关的sci论文

关键词：

Apache Range（4篇）

An Attribute-Based Access Control Model for Secure Big Data Processing in Hadoop Ecosystem

securosis实验室

随后找到了一个实验室专门做hadoop安全的网站

https://securosis.com/assets/library/reports/SecuringHadoopFinalV2.pdf

访问控制

https://github.com/gxkyrftx/awesome-bigdata

1.2 恶意软件检测

hadoop在恶意软件检测的一些应用

Hadoop malware（<10篇）

spark malware（>10篇）

mapreduce malware（>10篇）

Advance Persistent Threat Detection Using Long Short Term Memory (LSTM) Neural Networks

CC-Tracker: Interaction Profiling Bipartite Graph Mining for Malicious Network Activity Detection

Malware Log Files for Internet Investigation Using Hadoop: A Review

1.3 虚拟机安全

根据ctf比赛中的一个方向，想到了虚拟机安全，云安全这个方向，查阅了一下论文

KVM（>30篇）

vProVal: Introspection based Process Validation for Detecting Malware in KVM-based Cloud Environment

VM Security（>100篇）

VMGuards: A Novel Virtual Machine Based Code Protection System with VM Security as the First Class Design Concern

1.4 存储安全

以Storage security为关键词搜索

论文数量>2000篇 A Secure and Efficient Distributed Storage Scheme SAONT-RS Based on an improved AONT and Erasure Coding

An Ontology Based Storage of Security Information

1.5 apache组件安全

apache security=100篇左右，主要的方向发现了两个方向

大数据与社交网络

BRNADS: Big data Real-Time Node Anomaly Detection in Social Networks

日志分析

Apache Spark Based Analytics of Squid Proxy Logs

1.6 区块链系统性能分析/优化

判断了一下组内工作的方向和自己感兴趣的东西，然后列了一个表。

组内工作 自己会的
性能分析，性能优化 软件安全，机器学习，深度学习，区块链，流量分析，密码学

Blockchain performance optimization (>30篇)

Performance Benchmarking and Optimization for Blockchain Systems: A Survey

Performance Optimization for Blockchain-Enabled Industrial Internet of Things (IIoT) Systems: A Deep Reinforcement Learning Approach

Blockchain-Based Distributed Software-Defined Vehicular Networks: A Dueling Deep Q-Learning Approach

Blockchain performance analysis(>200篇)

Performance Analysis of Hyperledger Fabric Platforms

1.7 区块链存储系统

Blockchain storage >400篇

ChainFS: Blockchain-Secured Cloud Storage

Automatic Demand Response Strategy of Local Pure Electric Vehicle With Battery Energy Storage System Based on Blockchain Technology

Storage Mechanism Optimization in Blockchain System Based on Residual Number System

2.论文阅读

2.1 基于AONT和纠删编码的安全和高效的分布式存储方案 SAONT-RS

A Secure and Efficient Distributed Storage Scheme SAONT-RS Based on an improved AONT and Erasure Coding

发现AONT -RS和RAONT-RS 中存在四个安全漏洞。

改进了AONT -RS和RAONT-RS，提出基于AONT和纠删编码的安全和高效的分布式存储方案称为SAONT-RS

然后从机密性，可恢复性，完整性和抵抗短明文攻击对SAONT-RS 的四个方面进行了安全性分析

主要的改进方法，将sha2改为了sha512，替换了哈希算法。

2.2 调查：区块链系统的性能基准和优化

Performance Benchmarking and Optimization for Blockchain Systems: A Survey

2.2.1 共识机制

共识 优点 缺点
PoW •安全稳定•开放和完全分散 •性能低下•高功耗
PoS •低功耗•开放和完全分散 •复杂的实施•安全性低
PBFT •高性能•共识确定性•出色的安全性 •权力分散•低容错能力

2.2.2 基准

Blockchain benchmark

优点 缺点  
Blockbench •支持以太坊，超级账本，奇偶校验和法定人数•支持测量吞吐量，延迟，可扩展性和容错能力•易于整合私人链 •持续的工作量•无法监视资源利用率
Caliper •用户定义的测试模块•支持测量吞吐量，延迟，资源利用率•易于整合私人链•易于配置 •仅适用于超级账本•无法分析可伸缩性和容错能力

2.2.3 优化

  • 分块

    将大数据分为更小，更快，更易于管理的小块，并将它们放在不同的服务器上以提高性能和可用性。特定于区块链的区块是分散的，每个节点仅需要验证其自己的分片中的交易，无需验证分片之外的交易，并且可以与网络上的其他节点并行处理。与网络上的其他节点并行完成许多验证工作。这将大大减少节点执行的冗余计算，大大提高公共链的交易处理速度，并降低交易成本

  • 有向无环图

    使用DAG拓扑来存储块并解决区块链效率问题

    DAG-Chain：并首次将DAG网络从块包装维度升级到基于交易的层面。事务启动后，该事务将直接广播到整个网络，从而跳过了打包数据块的阶段，理论上提高了效率

  • 可扩展共识协议

    提高区块链性能和可扩展性的另一种方法是采用新的可扩展共识协议

    DPoS（委托权益证明）是一种基于投票选举的共识算法

  • 侧链

    侧链的概念是通过双向锚定实现主链与侧链之间的价值转移。侧链的目的是扩展主链的功能和性能。侧链的本质是首先将比特币（或以太坊）的一部分锁定在主链上，然后在侧链上操作货币，然后在操作周期结束后在主链上结算。为了解决区块链之间的信任问题，可以通过公证机制或区块头轻松验证区块链之间的交易数据验证。

  • 链上

    当在公共账本上交易时，这些交易是有效的。它们涉及到许多参与者验证交易，并且所有参与者的验证签名必须精确匹配，以便该交易被认为是有效的。虽然每笔交易的细节都公布在公共区块链上进行检查，这样就不能对其进行更改或逆转，但是与off-chain交易相比。

2.3 使用长短期记忆（LSTM）神经网络检测APT

Advance Persistent Threat Detection Using Long Short Term Memory (LSTM) Neural Networks

介绍APT的6个阶段

一些检测APT的方法：蜜罐，沙箱，流量分析，日志分析

本文方法：使用splunk，从APT感染的计算机中收集了系统事件日志文件log。将此日志文件log加载到HDFS进行进一步处理。使用HIVE提取事件代码和时间戳，根据这些匹配apt造成的影响。APT的行为实际上是相互依赖的，所以使用lstm训练模型可行。

实时检测APT阶段的方法

3.开源项目

3.1 hadoop相关的

Hadoop中的安全相关的项目源码

http://hadoopecosystemtable.github.io/

https://github.com/gxkyrftx/awesome-bigdata

• Apache Ranger -Hadoop的中央安全管理员和细粒度的授权

• Apache Eagle-实时监控解决方案（无）

• Apache Knox Gateway

• Apache Sentry-用于存储在Hadoop中的数据的安全模块。

• BDA -Hadoop和Spark的漏洞检测器

3.2 区块链系统性能分析/优化

3.2.1 hyperledger caliper

测试区块链性能的基准框架

https://github.com/hyperledger/caliper

https://wiki.hyperledger.org/display/caliper

https://hyperledger.github.io/caliper/

4.学习计划

在提出的方向每个至少看一篇论文，然后重点选取分布式存储安全，区块链存储系统，apache组件安全这三个方面进行阅读，因为这三个方向的论文数量比较多，而且相关的开源项目挺多的，以后的研究方向在里面找。

CATALOG
    FEATURED TAGS
    测试 c++ 反调试 ctf windows逆向 虚拟机保护 区块链 密码学 linux 漏洞利用 随笔 硕士论文
    FRIENDS
    本文访问量： 次