2018年,51LA新版的那些事

2018年11月26日 18:06 来源:51la团队 作者:51la小军

51LA网站统计从2005年至今已经13岁了,这个年龄在互联网行业里面属于高龄产品,要对他进行全面改造,需要很大的勇气。51LA统计自诞生以来一直都是免费使用,能运营到今天,一是广大51LA用户的支持和信赖,二是广告商的赞助。

 

现如今互联网的休闲流量已经转向移动端APP,网站已被称为传统互联网,同类产品如百度统计,友盟统计(cnzz)不断侵占市场份额,还有GrowingIO,神策数据等后起之秀在发力,站长的统计需求已得到多方面的满足,在这样的环境下51LA为何还要再进一步呢?

 

主要原因有二:

 

1、还有海量的用户对51LA充满情感和期待,我们不能辜负了他们。

2、我们想为站长提供更多符合当前互联网营销的数据分析工具。

 

架构重塑

1、旧版51LA是用asp写的,现如今要招这类的人才非常难,做技术的都知道掌握有发展前景的技能才能提高自己的价值。

2、支撑整个统计运行所需要的服务器已经达到100多台,这十几年来一直是阿江一个人在维护,个人精力毕竟有限。

3、我们想要提供更多高级的功能(用户画像,热力图,事件转化),在这套架构上继续扩展所需要的成本太高。

 

当然还有很多问题就不一一列举,面对这些问题,我们首先进行新架构的设计:

 

1、使用Hadoop分布式系统基础架构,它提供高吞吐量来访问应用程序的数据。

2、使用Storm提供实时计算框架,让统计数据流能实时接收、处理并保存

3、使用Kafka作为分布式消息缓冲队列,它是性能卓越、吞吐量大的消息队列,同时能缓冲保持数据,保证后方的storm程序暂时的故障时数据不丢失

4、使用Mysql存储处理好的统计数据,由于使用了MyCat分片,使得海量数据存储和查询性能依旧不弱

5、使用Spark作为离线统计框架,统计一些离线数据,如排行榜。

6、使用Hbase解决Mysql无法存储的场景,如每次请求的PV数据,这些数据仅单表就高达每日十多亿的数据量,同时Hbase在查询性能上也比较优秀

 

界面改版

我们同时在广州成立研发团队来做新版开发,阿江为确保新版界面不受其早期互联网风格影响,决定不参与界面设计,只进行产品功能指导。界面改版这块在内部中争议最大,在有限的时间,大差异的架构上,我们没办法做到新旧版的界面风格共存,最终还是决定暂缓旧版UI界面的开发,使用新UI界面,保留操作的逻辑。

 

脚本升级

老站长应该都清楚旧版的JS在移动端上面有很多问题,例如:广告劫持,手机浏览器厂商拦截等,此次重写JS代码,不再被一些国内浏览器厂商给当做广告脚本拦截,其次增加https支持,减少劫持的情况发生

 

新旧版过渡

2018-01-06 正式进入新旧版过渡,期间需要保证新旧版的数据一致性,但我们低估了两套架构之间的兼容性,上线观察一周时间,新版的数据比旧版少了将近三成,通过多方面排查发现两边的数据库同步延时非常高,且网络超时导致新版的数据频繁丢失,做了各种优化后,新旧版之间的数据差异缩小到0.001%

 

新版全面上线

2018-03-15 新版全面上线,意味着旧版界面不再提供访问,如我们所预料,很多用户显得极为失望,要求旧版界面回归,否则就改用其他产品,对于这种情况,我们小步快跑,快速迭代,不断改进细化,这一年我们完成35小版本更新,一周一版,13中版本更新,两周一版,51LA从未停止过脚步,为广大站长提供更多的服务。

 

热力图功能

2018-04-11 51LA统计的热力图功能正式内测,申请列表中挑选了50老用户开放体验,挑选的标准是业务上面有热力图需求的场景,我们非常需要通过不同场景来打磨这个功能,有不少用户也反复联系我们为何不全面开发此功能,非常抱歉的是这个功能的数据采集量非常庞大,目前只能限定人数使用,待完善后再逐步放开

 

阅读深度示范

 

移动端报表

2018-05-18 为了让站长更加方便的查看报表,我们将最频繁使用的功能集成到移动端上,近期还会继续增加移动端的功能,站长们可以关注公众号,及时获得最新的51LA动态。

 

 

流量异动提醒

2018-06-26 为了能让站长能够及时掌握流量异动,我们增加了流量提醒功能,支持微信,短信,邮件提醒。

 

头疼的攻击

截止今日,我们每月均遭到20+次的Ddos攻击,为了加强安全防御,我们与华为云合作,给整个系统增加DDOD防御及WAF防火墙,确保系统稳定及数据安全。

 

未来已来,DT时代是真正的智慧时代

这一年,我们目标是让网站统计的系统更加稳定,数据更加精准,产品更加易用,下一步我们将会推出更多高级功能,帮助站长做好运营数据分析,也希望广大51LA用户能够继续支持我们,谢谢!

本文经授权发布,不代表51LA立场,如若转载请联系原作者。

更多互联网行业动态>>请关注微信公众号“我要啦统计”(微信ID:Analysis_51la)

2018年,51LA新版的那些事

来源:51la团队 作者:51la小军
2018年11月26日 18:06

51LA网站统计从2005年至今已经13岁了,这个年龄在互联网行业里面属于高龄产品,要对他进行全面改造,需要很大的勇气。51LA统计自诞生以来一直都是免费使用,能运营到今天,一是广大51LA用户的支持和信赖,二是广告商的赞助。

 

现如今互联网的休闲流量已经转向移动端APP,网站已被称为传统互联网,同类产品如百度统计,友盟统计(cnzz)不断侵占市场份额,还有GrowingIO,神策数据等后起之秀在发力,站长的统计需求已得到多方面的满足,在这样的环境下51LA为何还要再进一步呢?

 

主要原因有二:

 

1、还有海量的用户对51LA充满情感和期待,我们不能辜负了他们。

2、我们想为站长提供更多符合当前互联网营销的数据分析工具。

 

架构重塑

1、旧版51LA是用asp写的,现如今要招这类的人才非常难,做技术的都知道掌握有发展前景的技能才能提高自己的价值。

2、支撑整个统计运行所需要的服务器已经达到100多台,这十几年来一直是阿江一个人在维护,个人精力毕竟有限。

3、我们想要提供更多高级的功能(用户画像,热力图,事件转化),在这套架构上继续扩展所需要的成本太高。

 

当然还有很多问题就不一一列举,面对这些问题,我们首先进行新架构的设计:

 

1、使用Hadoop分布式系统基础架构,它提供高吞吐量来访问应用程序的数据。

2、使用Storm提供实时计算框架,让统计数据流能实时接收、处理并保存

3、使用Kafka作为分布式消息缓冲队列,它是性能卓越、吞吐量大的消息队列,同时能缓冲保持数据,保证后方的storm程序暂时的故障时数据不丢失

4、使用Mysql存储处理好的统计数据,由于使用了MyCat分片,使得海量数据存储和查询性能依旧不弱

5、使用Spark作为离线统计框架,统计一些离线数据,如排行榜。

6、使用Hbase解决Mysql无法存储的场景,如每次请求的PV数据,这些数据仅单表就高达每日十多亿的数据量,同时Hbase在查询性能上也比较优秀

 

界面改版

我们同时在广州成立研发团队来做新版开发,阿江为确保新版界面不受其早期互联网风格影响,决定不参与界面设计,只进行产品功能指导。界面改版这块在内部中争议最大,在有限的时间,大差异的架构上,我们没办法做到新旧版的界面风格共存,最终还是决定暂缓旧版UI界面的开发,使用新UI界面,保留操作的逻辑。

 

脚本升级

老站长应该都清楚旧版的JS在移动端上面有很多问题,例如:广告劫持,手机浏览器厂商拦截等,此次重写JS代码,不再被一些国内浏览器厂商给当做广告脚本拦截,其次增加https支持,减少劫持的情况发生

 

新旧版过渡

2018-01-06 正式进入新旧版过渡,期间需要保证新旧版的数据一致性,但我们低估了两套架构之间的兼容性,上线观察一周时间,新版的数据比旧版少了将近三成,通过多方面排查发现两边的数据库同步延时非常高,且网络超时导致新版的数据频繁丢失,做了各种优化后,新旧版之间的数据差异缩小到0.001%

 

新版全面上线

2018-03-15 新版全面上线,意味着旧版界面不再提供访问,如我们所预料,很多用户显得极为失望,要求旧版界面回归,否则就改用其他产品,对于这种情况,我们小步快跑,快速迭代,不断改进细化,这一年我们完成35小版本更新,一周一版,13中版本更新,两周一版,51LA从未停止过脚步,为广大站长提供更多的服务。

 

热力图功能

2018-04-11 51LA统计的热力图功能正式内测,申请列表中挑选了50老用户开放体验,挑选的标准是业务上面有热力图需求的场景,我们非常需要通过不同场景来打磨这个功能,有不少用户也反复联系我们为何不全面开发此功能,非常抱歉的是这个功能的数据采集量非常庞大,目前只能限定人数使用,待完善后再逐步放开

 

阅读深度示范

 

移动端报表

2018-05-18 为了让站长更加方便的查看报表,我们将最频繁使用的功能集成到移动端上,近期还会继续增加移动端的功能,站长们可以关注公众号,及时获得最新的51LA动态。

 

 

流量异动提醒

2018-06-26 为了能让站长能够及时掌握流量异动,我们增加了流量提醒功能,支持微信,短信,邮件提醒。

 

头疼的攻击

截止今日,我们每月均遭到20+次的Ddos攻击,为了加强安全防御,我们与华为云合作,给整个系统增加DDOD防御及WAF防火墙,确保系统稳定及数据安全。

 

未来已来,DT时代是真正的智慧时代

这一年,我们目标是让网站统计的系统更加稳定,数据更加精准,产品更加易用,下一步我们将会推出更多高级功能,帮助站长做好运营数据分析,也希望广大51LA用户能够继续支持我们,谢谢!

本文经授权发布,不代表51LA立场,如若转载请联系原作者。

更多互联网行业动态>>请关注微信公众号“我要啦统计”(微信ID:Analysis_51la)

51LA网站统计V6

51LA与500位站长联合打造全新一代网站统计工具