离开无锡新的开始

以前公司,每当招聘,我们最喜欢挂在嘴边的就是清零,无论简历是否有写精通XX,都要达到将对方清零的效果,转眼杭州来工作有3周了,心态比较平静,目前分的工作任务也是相对简单的,但做任何事情最忌讳的就是眼高手低,往往梦想就是在每时每刻的敷衍当中变成了幻想

每当有人问无锡这家创业公司具体做什么的,我就比较不太能一下子说得完全,底层有10G网卡驱动,直接打到用户态,就像后来问世的DPDK;用到了各种CPU的新指令,各种编译器优化指令;去掉了所有的全局变量相关;多核CPU Affinity满足各种体系结构,Westmere,Sandybridge等;基于不同X86服务器的自动绑核其不同多线程并行处理,各种cache,zero copy;协议栈分析还是基于并行化的libnids,源源变换,四层到七层process_tcp到http_parser所有的处理都在这里,包括阿里测试了半年,一直都在这里coredump,被逼得N多goto,if else嵌套少说上百层吧;前面这部分基本就像大数据采集一样,作为一个旁路设备,一台X86服务器只需要一个端口镜像接入,能够从L2-L7解析出所有的metadata,最关键单口10G不丢包;按照NetFlow V9的格式,将定义的field以及扩展模板域自定义数据结构以UDP的方式发出去,完成了数据采集和分发工作;NetFlow接收器,将收到了metadata信息,按照自定义的方式,以本地磁盘文件保存,由于metadata已有,这里就可以按照需求自定义输出信息,各种压缩算法,红黑树,中途还试验了数据库,由于我们是单节点高性能,数据库貌似也扛不住;数据分析这里提供两种方式,一种是按用户要求的数据格式,通过HTTP POST的方式,将json文件post出去,用户自行实现UI自定义展示,持续服务用户;另外默认提供一种WEB UI展示,实现方式可能很少见了,前端HTML和PHP,JS和CSS很少,后端Perl,通过rrdtool来画图,至于后端数据源就和大数据分析器协商一种格式和接口调用方式;除此之外还需要跨平台交叉编译,一键RPM和BIN打包,kickstart制作VMware ISO;印象最深的还是TCP Latency的计算和DDOS攻击的识别,当时测试的时候真的是技术活,写分析工具,写自动化脚本,代码里打探针……时隔N年我居然还能记得一清二楚,但是感觉比较忧桑的就是好像啥都没精

其实核心部分在发送源,这里就不写了,毕竟非开源,随手画下数据存储,分析和展示流程

NewImage

保存一张在无锡时的旧图,证明哥也曾努力过,虽然好多书都没怎么看👀

My_thumb.jpg

新的开始,每天激情饱满,而且还有一群激情的小伙伴们

发表回复