Clik here to view.
[科普］什么是 billion laughs－WordPress与Drupal的DoS攻击有感
这周最红的洞，无疑是 WordPress与Drupal xmlrpc.php引发的 DoS攻击 ，究其原理就是针对XML处理的一种叫billion laughs的攻击方式。《web安全测试 》第5.10上传恶意XML实体文件这一章节就很清楚的介绍了这一攻击...
View ArticleClik here to view.
OpenResty安装及结构说明
nginx＋Lua成了做云WAF的标配了，所以也要努力学习以debian／ubuntu环境为例1.获得源码wget http://openresty.org/download/ngx_openresty-1.7.2.1.tar.gz历史版本见 http://openresty.org/2. 预安装环境apt-get install libreadline-dev libpcre3-dev...
View ArticleModSecurity CRS 笔记、WAF防御checklist,及WAF架构的一些想法
ModSecurity的规则因为奇怪的正则(可读性差？正则都很天书地说！）及被绕过案例（哪个WAF没有被绕过的经历呢？），还有性能啥的，被不少的安全人员围攻，但从架构层面来说，是款非常优秀的WAF，对构造我们自己的WAF非常具有借鉴性。一、ModSecurity CRS笔记对安全人员而言，WAF貌似最有价值的是规则，我们来看看ModSecurity CRS规则集的组织结构。ModSecurity...
View ArticleClik here to view.
Web应用指纹识别
web应用指纹识别，是web渗透信息收集最关键的一步，这方面开源的工具也非常多，像BlindElephant，whatweb 以及在非安全圈都很火的wappalyzer。本文主要描述如何使用wappalyzer的perl与php接口进行指纹识别。...
View ArticleClik here to view.
WAF防御能力评测及工具
本篇文章介绍如何从常规攻击的防御能力来评测一款WAF。一共覆盖了十六种攻击类型，每种类型均从利用场景（攻击操作的目的），注入点（漏洞产生的地方，比如说大多数WAF都会较全面地覆盖来自GET请求的攻击，有选择地覆盖来自POST请求的攻击而忽略来自请求头的攻击）和绕过方式来评测，最后附上评测代码。一、SQL注入（注入）1....
View ArticleClik here to view.
ssdeep检测webshell
最新版本的ModSecurity增加了ssdeep检测webshell的接口，于是猛地回忆起搞客户端安全（游戏安全）的时候买过一本书《恶意软件分析诀窍与工具箱－对抗“流氓”软件的技术与利器》，这本书就提到了使用ssdeep来查找恶意软件（webshell是恶意软件的一种，安全领域是互通的嘛），本文介绍如何使用它来检测webshell。一 、安装ssdeep 下载ssdeep并安装...
View ArticleClik here to view.
理工渣眼中的HMM及安全应用
虽然是理工妹子，但仍是数学渣。症状之一就是每次学习算法都能把自己绕成鸡窝头。所以尝试写一篇数学渣眼中的HMM。我们先看一个让人头疼的HMM定义式（喜欢从公式下手是我多年来应付考试养成的不良习性）一、HMM五元素 N：隐藏状态数 hidden statesM：观测状态数 observed statesA： 状态转移矩阵 transition matrixB：发射矩阵 emission matrix...
View ArticleClik here to view.
Clik here to view.
大数据之hive安装及分析web日志实例
数据搜索与分析是运维狗必备技能"In reality, 90+% of MR jobs are generated by Hive...
View ArticleClik here to view.
mac安装hadoop+Eclipse开发环境
前言：实在受够了在两台机器跑来跑去的操作了（在windows上用eclipse编辑源码（java渣不用IDE会死掉）后编译导出jar包（实在慢），再上传到ubuntu上hadoop运行的悲催步骤，虽然后续想到了命令行编译（速度上来了）的方法，但仍需要在两台机器来回切换，很轴的我，决定找一种不用两台机器切换的一站式开发方法，因此有了本文。总的环境配置：OS：mac os x 10.10.3 Java...
View Articlelua cheatsheet（烂俗名：如何快速学lua）
lua由于其高性能的特征，被广泛应用于game与server编程。对web领域的人，ngx_lua是必备技能，如何快速的入门呢？（要学的好还是得learn xxx the hard way），就是快速浏览了基本语法后，站在前人的总结下前进。一、lua基本语法（1）lua有哪些数据类型？...
View ArticleClik here to view.
webshell检测－日志分析
一直认为日志分析的最终奥义是取证与预测——讲述完整的已发生、正在发生的、将来会发生的攻击故事（何时.何地.何人.何事.何故）。而本文之所以讲如何识别webshell，就是想从确定的攻击事件来回溯已发生的攻击事件,被植入的webshell毫无疑问就属于确定的攻击事件，只要曾经被传入过，就有很高的概率一直被黑webshell检测不是新鲜事，主流有杀毒软件与入侵检测系统两种做法，而这两种方法除了技术上的缺...
View ArticleClik here to view.
Data minging for security at Google —— Max Poletto 笔记
2014年秋 斯坦福大学网络课程 Data Mining For Cyber Security CS259D 上来自google security Monitoring Tools组负责人Max Poletto 的现身说法PPT的笔记加个人批注一、背景1. 在google数据挖掘的常见安全应用场景（1）账号劫持检测（2）广告点击欺诈检测（3）DoS检测（4）入侵检测批注：更多安全应用场景可以参考...
View Article将hdfs web日志映射到hive table的方法
前段时间，自己仿modsecurity 规则，用mapreduce写了个搜索任务，任务慢到挂，后来想想还是将数据导入hive，让hive来干ETL的工作。考虑到集群空间非常吃紧，不能增加存储量，因此选择外部表的方式hadoop的目录结构如下/data/xxx/20151216/00/xxx.log 第一步：创建表CREATE EXTERNAL TABLE IF NOT EXISTS...
View Article使用privoxy与tor隐藏身份
前提: 有一台境外的vps原理：流量 <-----> http proxy（privoxy）<----- >socks proxy（tor）第一步：安装与配置torapt-get install torvim /etc/tor/torrc编辑SocksPort 9050 #修改默认端口是好习惯/etc/init.d/tor...
View ArticleClik here to view.
SQLi的那些事
sqli是个老生常谈的话题，我们知道sqli漏洞层出不穷，我们知道sqli技能培训一片红火，农历年的最后一天，来讲讲SQLi的检测问题。一、注入本质SQLi是如何造成的，有一堆的文章科普，这里就一句话交代——代码与数据的界限不明二、危害SQLi有哪些危害，也有一堆的文章科普，这里就一句话交代——要么要数据（也就是常说的脱裤，数据库数据读取篡改删除），要么要控制权（web写马，操作系统文件系统读写，命...
View Article大数据之pig安装及使用实例
前置知识：具备基本的hadoop分布式文件系统操作与mapreduce计算框架知识——大数据之hadoop伪集群搭建与MapReduce编程入门一、Pig环境搭建http://pig.apache.org/ 1、安装wget http://mirrors.cnnic.cn/apache/pig/pig-0.15.0/pig-0.15.0.tar.gz .tar zxvf...
View Articlebbcp-局域网中大文件的快速传输
需求：1. 局域网中传输大文件，文件大小大于100G2. 无加密要求3. 文件完整性要求低4. 越快越好结论：bbcp使用实例：一、安装（传输的双方机器都需要安装同版本的可执行文件）wget http://www.slac.stanford.edu/~abh/bbcp/bbcp.tgztar zxvf bbcp.tgzcd bbcp/src/makecp...
View ArticleClik here to view.
小话企业安全能力建设
曾经遇到一个面试题，如何对互联网企业从零开始建设安全能力。我瞬间就蒙圈了，只能想到资产整理后的分层检测、防御与应急响应，然后脑海里飘过的一堆开源工具，例如：生产环境下网络层：端口扫描发现服务nmap/zmap/masscan, 入侵检测snort/bro,防火墙iptables/netfilter，堡垒机...
View Article威胁情报2012-2016会议笔记
http://www.tanjiti.top/threatIntelligenceNote.html使用印象笔记写的2012年到2016年的威胁情报相关的会议PPT笔记，接地气的或提供实施方案都记录在册了，那种听不懂的很抽象的就放弃了
View ArticleGo版heartbleeder PoC ——Ubuntu/Debian上搭建Go运行环境
说起为啥要安装Go环境，完全是因为想运行Heartbleed Bug(CVE-2014-0160)Go版本的PoC heartbleeder.go （估计大家都使用的python版本的PoC ssltest.py, perl版本的PoC hb_honeypot.pl...
View ArticleClik here to view.
github最基本的使用
记录最简单的github源码托管操作，其实，作为IT人员，现在才提起github，已经过时到不行了。最早接触github，完全是因为要“借用”大牛们编写的工具。于是最先学会了git clone 地址 来下载源码与git pull 与更新源码题外话，由于强迫症似的到处收集工具，除了git以外，还接触了Mercuria...
View ArticleClik here to view.
Proxy探测脚本与HTTP基本认证暴力破解脚本
一、Proxy探测脚本功能：探测Proxy地址是否可用，速度及代理的隐匿程度脚本地址：https://github.com/tanjiti/perl_tools/blob/master/isProxyOK.pl使用方法：1. 获取帮助perl isProxyOK.pl --help2. 判断指定Proxy地址是否可用及连通速度黄色字体表明代理不可用，红色字体表示代理可用perl...
View ArticleClik here to view.
HTTP.pl——通过HTTP发包工具了解HTTP协议
一、HTTP.pl功能简介HTTP.pl perl编写的发包工具，简化版本curl，像curl致敬（唉，“致敬”都被于妈玩坏了）。该发包工具支持HEAD，GET，METHOD三种基本请求方法，能处理 get/post方法的表单处理、文件上传请求、基本认证，能指定HTTP请求头，指定请求超时时间，指定自动Follow重定向的次数及使用代理。使用的perl模块（1）URI 相关模块 :...
View ArticleClik here to view.
网站负载均衡技术读书笔记与站长产品的一点想法
一、《实用负载均衡技术-网站性能优化攻略》读书笔记如图所示，展示了一次HTTP请求发起的各个阶段与各个阶段用到的性能优化技术。二、站长产品要想搭建一个站点，其实很简单1. 注册域名2. 购买vps或者使用云服务 （互联网大头都在做云。。。）3. 下载安装CMS建站程序如果要在国内发布，还得加上下面一步4. 备案而要想运营一个站点，就比较困难了1....
View ArticleBuyVM Debian IPSec VPN 安装方法
iOS干掉了pptp，iOS appstore干掉了shadowsocks，LG又吵着用ipad翻墙刷twitter，youtube，所以决定用ipsec复活vpn我的vps：BuyVM Debian安装方法完全参考http://www.jianshu.com/p/2f51144c35c9 第一步：安装strongswan1.安装依赖包apt-get install...
View ArticleClik here to view.
商用WAF-impreva SecureSphere分析
分析过开源WAF产品modsecurity，naxsi，现在来分析商用的WAF产品——impreva SecureSphere（被业内评为最好的WAF产品）。一款WAF产品，我们会主要从功能、易用性、性能三方面来进行评测。首先，我们知道waf产品从用户定位来看，有以下两种：目标用户：站长 提供的服务：防住攻击就好，例如云WAF产品 收费点：增值服务 目标用户：互联网商家...
View ArticleClik here to view.
大数据之安全漫谈2
前言写这篇文章有三个原因，一是在工作中一直艰难地摸索着这块也曾写过一篇很粗略的大数据之安全漫谈 （想继续吐槽）；二是看到了阿里的招聘广告-一起来聊聊这个新职位：大数据安全分析师；三是整个2015的RSA会议 Intelligence Data-Driven 出境率太高了...
View ArticleClik here to view.
一、TCP/IP数据包基础知识
我们在做基于全流量的网络安全评估的时候会需要对关键服务的协议进行分析，该系列主要讲这些关键协议分析的基础知识及应用示例（http://naotu.baidu.com/file/d3021fd8d87cc164eb2427acb7b10f53?token=c5d4f483c9781dfe 密码: J8wp...
View ArticleClik here to view.
二、TCP/IP数据包分析应用-端口扫描
前言：一、TCP/IP数据包基础知识端口扫描是网络安全评估中资产识别的主要方法（资产识别及评估的三部曲，主机存活识别--主机服务识别（端口开放探测+指纹匹配）--漏洞识别）端口扫描技术1. tcp connect 扫描发起nmap扫描nmap -sT -P0 xxx.xxx.xxx.xxx开放端口示例python print_pcap.py...
View ArticleClik here to view.
三、TCP/IP协议分析-MySQL认证协议分析
登陆mysql数据库，抓取mysql从建立连接到断开连接的双向流量，如下图所示python print_tcp_session.py一次失败的MySQL登陆,账号为root 一次成功的mysql登陆，账号为ids 由上图所示，...
View ArticleClik here to view.
四、TCP/IP协议分析-PostgreSQL认证协议分析
postgresql 数据报文 分为两种第一种：报文类型 1个字节+ 报文长度 4个字节+ 报文体 长度等于报文长度-4第二种：报文长度 4个字节+ 报文体 长度等于报文长度-4postgresql采用的大端字节序postgresql认证过程1.客户端->服务端: startup message长度 4个字节 + 协议版本号 4个字节...
View ArticleClik here to view.
五、TCP/IP协议分析-MongoDB认证协议
MongoDB数据报文格式MongoDB采用的小端字节序，由消息头和消息体组成消息头为固定长度，由消息长度 4个字节 +requestID 4个字节+responseTo 4个字节+opCode 4个字节消息体长度为消息长度-消息头长度16query请求的组成opcode为d4 07 00 00 4个字节+query flags 4个字节+fullcollectionname...
View ArticleClik here to view.
六、TCP/IP协议分析-Redis认证协议分析
Redis的数据包为序列化后的文本协议RESP (REdis Serialization Protocol) ，human-readable（明文可读）,由0d0a切分内容，相比postgresql、mysql、mongodb解析起来要简单快速的多，当然安全性也欠缺，嗅探成本低“redis的安全设计是在"Redis运行在可信环境下",...
View ArticleClik here to view.
七、TCP/IP协议分析-FTP认证协议
ftp协议为明文可读协议，由0d0a切分内容，如下图所示失败认证数据包 成功认证数据包 ftp认证过程1.服务端->客户端 220响应 2.客户端->服务端 USER请求 3.服务端->客户端 331响应 4.客户端->服务端 PASS请求 5.服务端->客户端 530／230响应 客户端请求数据格式：请求命令+空格+请求参数+\r\n服务端响应数据格式：响应码 +...
View ArticleClik here to view.
十、TCP/IP协议分析-RDP协议
windows上的远程桌面协议RDP remote desktop protocol比较复杂，默认端口为3389，它封装在TPKT协议中进行传输。TPKT数据包组成：采用大端字节序 version 长度为1个字节 : 00-只支持classic rdp； 01-支持classic rdp和ssl ；03-除上面两个之外，还支持credssp+ reserved 长度为1个字节+ length...
View Article如何在mapreduce中处理protocolbuf序列化格式的文件
一、生成proto协议描述文件对应的java文件对于一些采取protocolbuf序列化存储的日志文件，在做数据分析之前，需要日志解析（反序列化），以java语言为例公司主流使用protobuf 2.4.1版本，如果采用默认安装版本都会高于此版本，因此需要降级，以mac为例，可以采用以下方式降级brew tap homebrew/versionsbrew install...
View ArticleClik here to view.
十二、TCP/IP协议分析-DNS协议
一、DNS报文结构DNS报文采用大端字节序，由DNS报头与DNS正文组成。 DNS报头定长12个字节，由 transaction ID 2个字节 + flags 2个字节+questions 2个字节 查询段中的条目数+answers RRs 2个字节 应答段中的资源记录数+authority RRs 2个字节 授权段中的资源记录数+additional RRs 2个字节...
View Article