Update 2023年9月18日Spark的最新部署脚本和教程我放在了这个仓库下：https://github.com/Wh1isper/spark-build 同时有打好的docker镜像可以使用： For PySpark app: wh1isper/pyspark-app-base For Spark Connect Server: wh1isper/spark-exe

大数据相关笔记理论基础大数据特征5V：容量（Volume）大量化、速率（Velocity）快速化、多样性（Variety）多样化、真实性（Veracity）、价值（Value）价值密度低 有时不谈真实性 只有4V 不同数据类型结构化数据结构化数据遵循一个标准的模型，或者模式，并且常常以表格的形式存储。该类型数据通常用来捕捉不同对象之间的关系，并且存储在关系型数据库中。 非结构化数据非结构化数据是指

数据抽样相关笔记 抽样定义在统计学中，抽样（Sampling）是一种推论统计方法，它是指从目标总体（Population，或称为母体）中抽取一部分个体作为样本（Sample），通过观察样本的某一或某些属性，依据所获得的数据对总体的数量特征得出具有一定可靠性的估计判断，从而达到对总体的认识。 抽样误差（sample error）样本框与样本之间的非可观察差距由于缺失了总体中的一部分人而在统计上产生的

这篇博客整理自两个月以来在深信服实习的所学 HTTP攻击分为响应端和请求端 响应端攻击指服务器对客户端进行攻击，一般的攻击形式为：在HTML页面中插入恶意的js代码等，常见的有shellcode，HTML注入攻击，CSS注入攻击等，其主要利用了浏览器的漏洞，当用户浏览了带有恶意代码的网页，攻击就有可能生效； 请求端攻击指客户端对服务器发送恶意代码，针对服务器的漏洞进行攻击，如在HTTP头部字段注入