Clik here to view.
理工渣眼中的HMM及安全应用
虽然是理工妹子，但仍是数学渣。症状之一就是每次学习算法都能把自己绕成鸡窝头。所以尝试写一篇数学渣眼中的HMM。我们先看一个让人头疼的HMM定义式（喜欢从公式下手是我多年来应付考试养成的不良习性）一、HMM五元素 N：隐藏状态数 hidden statesM：观测状态数 observed statesA： 状态转移矩阵 transition matrixB：发射矩阵 emission matrix...
View Article大数据之elasticsearch集群搭建与基本使用-渗透人员入门
我也开始玩集群了，写此文章来纪念一、安装手册第一步：安装java 7（最低版本java 7）第二步：安装及配置elasticsearch（下载最新版）wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.5.1.tar.gztar zxvf elasticsearch-1.5.1.tar.gzcd...
View ArticleClik here to view.
大数据之安全漫谈2
前言写这篇文章有三个原因，一是在工作中一直艰难地摸索着这块也曾写过一篇很粗略的大数据之安全漫谈 （想继续吐槽）；二是看到了阿里的招聘广告-一起来聊聊这个新职位：大数据安全分析师；三是整个2015的RSA会议 Intelligence Data-Driven 出境率太高了...
View ArticleClik here to view.
Clik here to view.
大数据之hive安装及分析web日志实例
数据搜索与分析是运维狗必备技能"In reality, 90+% of MR jobs are generated by Hive...
View ArticleClik here to view.
mac安装hadoop+Eclipse开发环境
前言：实在受够了在两台机器跑来跑去的操作了（在windows上用eclipse编辑源码（java渣不用IDE会死掉）后编译导出jar包（实在慢），再上传到ubuntu上hadoop运行的悲催步骤，虽然后续想到了命令行编译（速度上来了）的方法，但仍需要在两台机器来回切换，很轴的我，决定找一种不用两台机器切换的一站式开发方法，因此有了本文。总的环境配置：OS：mac os x 10.10.3 Java...
View ArticleClik here to view.
web日志异常检测实践之长度异常模型
作为一个码渣与数学渣，在数据分析的实践过程是非常虐心的，但所幸的是有些问题可以用helloword的水平来解决，本文就介绍一种从web日志中发现攻击日志的简单方法。一、实验环境：输入数据源：web访问日志，2T左右输出数据：攻击日志开发环境：*inux+hdfs+mapreduce+java二、模型原理：假设参数值长度的分布近似正态分布，对于正态或近似正态分布，我们知道其分布曲线近似下面的钟形图，我...
View Articlelua cheatsheet（烂俗名：如何快速学lua）
lua由于其高性能的特征，被广泛应用于game与server编程。对web领域的人，ngx_lua是必备技能，如何快速的入门呢？（要学的好还是得learn xxx the hard way），就是快速浏览了基本语法后，站在前人的总结下前进。一、lua基本语法（1）lua有哪些数据类型？...
View ArticleClik here to view.
商用WAF-impreva SecureSphere分析
分析过开源WAF产品modsecurity，naxsi，现在来分析商用的WAF产品——impreva SecureSphere（被业内评为最好的WAF产品）。一款WAF产品，我们会主要从功能、易用性、性能三方面来进行评测。首先，我们知道waf产品从用户定位来看，有以下两种：目标用户：站长 提供的服务：防住攻击就好，例如云WAF产品 收费点：增值服务 目标用户：互联网商家...
View ArticleClik here to view.
威胁情报是个啥
一、什么是威胁情报什么是威胁情报，其实安全圈一直在使用着它们，漏洞库、指纹库、IP信誉库，它们都是威胁情报的一部分。而对我而言，情报就是线索，威胁情报就是为了还原已发生的攻击和预测未发生的攻击所需要的一切线索。以web攻击为例，有以下线索IPIP用于提供攻击源信息。僵尸网络IP？扫描器IP？云服务IP？CDN...
View ArticleClik here to view.
Blackhat 2015 数据安全分析 相关PPT 看后感
一、《My Bro The ELK Obtaining context from security events》公司：tripwire技术点：Bro IDS ＋ logstash filtering (grok)+ w/Kibana visualization + TARDIS framework (threat feeds)亮点：安全工具 + 威胁情报（98 Threat Feeds +...
View ArticleClik here to view.
webshell检测－日志分析
一直认为日志分析的最终奥义是取证与预测——讲述完整的已发生、正在发生的、将来会发生的攻击故事（何时.何地.何人.何事.何故）。而本文之所以讲如何识别webshell，就是想从确定的攻击事件来回溯已发生的攻击事件,被植入的webshell毫无疑问就属于确定的攻击事件，只要曾经被传入过，就有很高的概率一直被黑webshell检测不是新鲜事，主流有杀毒软件与入侵检测系统两种做法，而这两种方法除了技术上的缺...
View ArticleClik here to view.
Data minging for security at Google —— Max Poletto 笔记
2014年秋 斯坦福大学网络课程 Data Mining For Cyber Security CS259D 上来自google security Monitoring Tools组负责人Max Poletto 的现身说法PPT的笔记加个人批注一、背景1. 在google数据挖掘的常见安全应用场景（1）账号劫持检测（2）广告点击欺诈检测（3）DoS检测（4）入侵检测批注：更多安全应用场景可以参考...
View Article将hdfs web日志映射到hive table的方法
前段时间，自己仿modsecurity 规则，用mapreduce写了个搜索任务，任务慢到挂，后来想想还是将数据导入hive，让hive来干ETL的工作。考虑到集群空间非常吃紧，不能增加存储量，因此选择外部表的方式hadoop的目录结构如下/data/xxx/20151216/00/xxx.log 第一步：创建表CREATE EXTERNAL TABLE IF NOT EXISTS...
View Article如何在mapreduce中处理protocolbuf序列化格式的文件
一、生成proto协议描述文件对应的java文件对于一些采取protocolbuf序列化存储的日志文件，在做数据分析之前，需要日志解析（反序列化），以java语言为例公司主流使用protobuf 2.4.1版本，如果采用默认安装版本都会高于此版本，因此需要降级，以mac为例，可以采用以下方式降级brew tap homebrew/versionsbrew install...
View Article日志全记录模式开启
背景： 为了关联分析请求体与响应体WAF为什么不检测响应体，仅仅是性能约束吗？是不是关联检测的收益远远高于部署成本呢？所以先搭建一套环境，尝试看看效果方案一: 选择使用nginx（openresty）+lua来搭建日志生成环境1. nginx作为web server 用于自己构造攻击的实验环境第一步：openresty搭建openresty 的搭建方法参加...
View Article使用privoxy与tor隐藏身份
前提: 有一台境外的vps原理：流量 <-----> http proxy（privoxy）<----- >socks proxy（tor）第一步：安装与配置torapt-get install torvim /etc/tor/torrc编辑SocksPort 9050 #修改默认端口是好习惯/etc/init.d/tor...
View ArticleClik here to view.
SQLi的那些事
sqli是个老生常谈的话题，我们知道sqli漏洞层出不穷，我们知道sqli技能培训一片红火，农历年的最后一天，来讲讲SQLi的检测问题。一、注入本质SQLi是如何造成的，有一堆的文章科普，这里就一句话交代——代码与数据的界限不明二、危害SQLi有哪些危害，也有一堆的文章科普，这里就一句话交代——要么要数据（也就是常说的脱裤，数据库数据读取篡改删除），要么要控制权（web写马，操作系统文件系统读写，命...
View Article大数据之pig安装及使用实例
前置知识：具备基本的hadoop分布式文件系统操作与mapreduce计算框架知识——大数据之hadoop伪集群搭建与MapReduce编程入门一、Pig环境搭建http://pig.apache.org/ 1、安装wget http://mirrors.cnnic.cn/apache/pig/pig-0.15.0/pig-0.15.0.tar.gz .tar zxvf...
View Article