ronin47
- 浏览: 949148 次
- 性别:
- 来自: 上海
-
最新评论
-
hsluoyz：
PyCasbin 是一个用 Python 语言打造的轻量级开源 ...
django guardian 对象级别权限设计 -
phncz310：
厉害了，我的哥
python黑魔法异常重试的次数，间隔的装饰器涵数 -
adamoooo：
Zabbix二次开发，可以试试：乐维监控www.91lewei ...
zabbix二次开发及app -
shi3689476：
你好,模块下载地址还能提供一下吗?
NGINX开发杀手锏-线程池 -
tobato：
Elasticsearch 和 Influxdb 为何选了El ...
elastic作数据源，对比kibana与grafana
文章列表
第一种很常见的sso，是整合开源的cas＋tomcat。这种方式不好的地方在于做集群负载session共享。我试了jboss，tomcat,还是发现ticket丢失，偶尔听运营同事反馈说，又有用户登陆不了，但重新刷新一下又可以了。时间久了，大家都会刷新解决问题。
第二种利用nginx作统一网关的形式。这种方式不友好的地方在于要记住很多域名，不能作统一的权限管理，因为后端有很多各种形式的系统，每种系统的权限管理都不一样，有的用mysql，有的用sqlite3.....登陆表单形式也不一样，有的是form形式，有的是http basic形式， ...
1. 第一个登录，带cookies,路由的小程序上github
2.APM性能监控报警
dashboard
3.日志系统及归档到mongodb
dashboard
4.前端路由
5.jenkins，打，发分离
6.aiirpal+presto组成的数据平台
太强了
Seamlessly Move Data between Elasticsearch and Hadoop
With a native integration and a rich query API, ES-Hadoop lets you index data directly into Elasticsearch from Hadoop, query
elk 这次整体版本升级，性能提升杠杠的。
elasticsearch 2.1
logstah 2.1
kibana 4.3
redis 3.0.6
kafka 2.11-0.9
zk 3.4.7
目前两台4core4G的云vm ，一天采集量超过1500万条日志，这几天放假，量少了很多
zk集群：
kafka 消息通信
airpal可以形成一个系列了。airpal默认是可以预览数据的。但加上用户对应的权限表之后，数据预览就不见了。
解决这个问题的环境：
intellij 15
chrmoe
远程debug
解决思路：
1.刚开始怀疑是前端的问题，通过chrome的inspect发现有数据返回与没数据返回所调用类是不一样，于是找到airpal.css.
render() {
if( !_.isEmpty(this.state.table) ) {
...
这是一个前端ui问题，用到一堆新玩意：reactjs，airpal.js等。又是从0.1版开始找思路解决这个问题。
使用工具是chrmoe的inspect
调试思路：
a. element.style
b.引入airpal.css里class
开始调试：
a.style:
b.class方式：
总结：这两种方式都可以调用滚 ...
airpal_vesion 0.1
presto_version 0.7
上面为什么要说明这两个软件的版本，是因为版本太新，国内用的人不多，这方面学习成本高。标题取名为是所遇到的问题，而不是坑，是因为有些问题在原开发者看来不是bug，大神乐意开源了，才有机会练手。感谢开源。
我这里目前主要解决了两个问题，一是时区问题；二是用户按表分权限操作问题。后续还会修改ui的一些历史记录等问题。如果小伙伴也遇到同样的问题，可以问我，知无不言。
先说明一下这套组合解决了哪些问题：
简单一句话就是跨库查查询
...
kibana4.3多了一个status
收集到日志展示：
ELKKRN指的是
E:elasticsearch－－－集群存储
L:logstash－－－采集，过滤
K:kibana－－－展示
K:kaka－－－消息队列
R:redis－－－消息队列
N:nginx－－－集群负载
step1
集群满足需求
step2
各节点参数优化，提升使用感
step3
各种filter，各种计算，报表视图
ste4
因项目的接口没权限验证，经常被误登录操作，产生脏数据，在这样的业务场景下，我思考了几套方案：
1.限客户端连接的ip
2.后端的接口做权限验证
3.前端做权限验证。
我是采用第三套方案，简单演示如下：
nginx+nodejs做一个入口权限认证，如下所示
登录前：
登录成功后：
进一步扩展，利用Nodejs的插件node_redis ，把用户信息放在redis,进行验证；
...
mesos环境搭建起来了，如下：
采用master-slave模式，没带验证的管理，始终都有潜在的风险，但有些功能做得并不是深入，如管理slave上的主机，就没有多少深入的管理，发布应用也一样，并不是很直观指定这个应用发到哪台slave，对于发布的命令的也很单一，命令形式
以上是谈mesos管理集群的，虽说docker自带的swarm，还有goole的Kubernetes都不是那么的完美，完美指的是，有些功能对于公司或对于个人都实用的那种。
说完了mesos,再说docker，docker目 ...
整套方案是2014年做的。
整套的应用架构是F5--->nginx--->F5----->app集群
1.其中nginx+lua+redis存客户信息，做路由
2.nginx+lua+共享内存做计数器，拦载客户用插件刷件
3.nginx+header+body＋cookies做了七条规则的防机器码等恶意行为，去掉了验证码
由于前两个方案，不好载图显示，只载图拦载提示。js是嵌入到lua，后来又扩展加入了nodejs,html等多元系显示方案
目前前端拦载提示做到页 ...
在zabbix原有的基础上加自动处理脚本，执行一些事务，如清理磁盘，重启应用，收集日志等。如下是架构出来的截图。
登录界面：
zabbix使用有一段时间了，做了一个app,感觉强大。
app界面:
使用的思路是自动化运维，自动报动，自动处理异常，自动收集error日志。
使用步骤是：添加web监控。
自定义item,如果有能力可以做成module形式加载，这样效率高。
新建trriger
由trriger触发actions调用客户端的脚本。
至此一个简单自动运维过程就完成了。
至于我开发了一个app,是个人兴趣，提高工作效率，假如外出吃饭，要是应用出异常，难道还要跑回来打 ...
TFS RESTful API 模拟上传测试。
细节参看这里：https://github.com/alibaba/nginx-tfs/blob/master/TFS_RESTful_API.markdown
模拟POST上传一个图片：
curl --data-binary @/opt/tfs.png http://192.168.10.218:7500/v1/tfs?suffix=.jpg\&simple_name=0
返回信息：
{ "TFS_FILE_NAME": "T1iRJTByJT1RXrhCrK" ...
zabbix_api提供的接口除了可以用curl python lua等访问外，还可以用app来登录，获取一些自定义的数据或是执行一定命令。国外有两款这样的APP,个人感觉不太好用，就自主开发一个app.后期整理一下，把源码公布出来。
这是我设计1.0界面。 设计2.0界面