喜悦国际村 
» 游客:  注册 | 登录 | 搜索 | 统计 | 帮助

 喜悦国际村 » PHP高级编程 » 千W级数据反馈处理，大家都有什么好设计思路吗？ RSS 订阅当前论坛  

喜悦证交所已经关闭

上一主题 下一主题
 22  2/3  <  1  2  3  > 
      
标题: [讨论] 千W级数据反馈处理，大家都有什么好设计思路吗？  
 
DevilHookey
中级会员
Rank: 3Rank: 3
中级会员


UID 29455
精华 0
积分 244
帖子 241
金钱 244 喜悦币
威望 0
人脉 0
阅读权限 30
注册 2004-6-18
来自 BJ
状态 离线
[广告]: q m


QUOTE:
原帖由 duketang 于 2008-3-26 09:29 AM 发表
统计逻辑呢？
还有这个数据进入的方法是每天进入一次（比如线下数据导入） 还是平均到各个时段进入（线上）
我说的递增量是以后数据量的增长幅度 每天固定都是700-900w 不涨了？
还有你即时查询的时候应该是统计结果 表格  不需要看到结果中某一条的内容吧？
统计逻辑基本是按照反馈回的2个数据主键（INT）把零散数据group划分sum等操作
整个系统是线上的系统也就是实时反馈的，数据月增量大概是在亿的级别上
即时查询也的确是对统计后结果查询，不会给用户详细记录


越发觉得这东西好麻烦啊，以前接触这个级别的数据比较少，还希望大家给点帮助了
2008-3-26 09:54 AM#11
查看资料  发短消息  顶部
 
php5
金牌会员
Rank: 6Rank: 6
中级会员


UID 62897
精华 0
积分 1263
帖子 1112
金钱 1263 喜悦币
威望 0
人脉 0
阅读权限 70
注册 2005-1-3
来自 福建
状态 离线
[推荐阅读] 类里不用GLOBAL？？那用什么？
你不试试下边的mysql分区...
2008-3-26 10:15 AM#12
查看资料  发短消息  顶部
 
DevilHookey
中级会员
Rank: 3Rank: 3
中级会员


UID 29455
精华 0
积分 244
帖子 241
金钱 244 喜悦币
威望 0
人脉 0
阅读权限 30
注册 2004-6-18
来自 BJ
状态 离线
[推荐阅读] php能不能稳定地取得客户端的MAC地址?


QUOTE:
原帖由 php5 于 2008-3-26 10:15 AM 发表
你不试试下边的mysql分区...
这个在数据库上是会采用的，但是我现在说的是一个整体的数据处理方案，看看我顶楼说的方案给点意见吧
个人认为你说的属于细节部分，我是认为现有整体方案在讨论方案里的各个部分比较好
2008-3-26 10:37 AM#13
查看资料  发短消息  顶部
 
duketang (duketang)
版主
Rank: 7Rank: 7Rank: 7
无聊的老亮


UID 18398
精华 3
积分 84
帖子 1646
金钱 54 喜悦币
威望 30
人脉 0
阅读权限 100
注册 2003-2-17
来自 沈阳->北京->沈阳-> ...
状态 离线
[推荐阅读] 菜鸟关于类编写的一些疑问


QUOTE:
原帖由 DevilHookey 于 2008-3-26 09:54 AM 发表
统计逻辑基本是按照反馈回的2个数据主键（INT）把零散数据group划分sum等操作
...
不要老绑着db一起说 在这里db只是最终单日结果按月累计的汇总方法

反馈内容

option_1  y||n
option_2  y||n
.........................
option_n  y||n

你每天最终要统计出来的是不是就是

option_1 =y 有多少  或  o1=y and o2=n这样的有多少？ 然后再按周 按月 等时段统计？



Msn:duketxl@gmail.com
OICQ:8339544
www.80666.cn
性搜
中国招标信息数据库
2008-3-26 01:34 PM#14
查看资料  Blog  发短消息  QQ  顶部
 
DevilHookey
中级会员
Rank: 3Rank: 3
中级会员


UID 29455
精华 0
积分 244
帖子 241
金钱 244 喜悦币
威望 0
人脉 0
阅读权限 30
注册 2004-6-18
来自 BJ
状态 离线
[推荐阅读] 谁知道有好的PHP+MYSQL的聊天室的程序
回楼上，我的概念，DB只是因为近期数据对外频繁查询才会设计
如果对外只是定时段的统计分析结果汇报（报表形式）我完全是不会设计DB这个步骤的
每天最终要统计出来的如你所说，但是数据关系会复杂的多
2008-3-26 01:47 PM#15
查看资料  发短消息  顶部
 
ysixin
新手上路
Rank: 1
一般会员



UID 46215
精华 0
积分 30
帖子 42
金钱 30 喜悦币
威望 0
人脉 0
阅读权限 10
注册 2004-11-7
状态 离线
[推荐阅读] 帮助介绍一款聊天室程序
尽量放到另外一台机器
2008-3-26 02:02 PM#16
查看资料  访问主页  发短消息  顶部
 
DevilHookey
中级会员
Rank: 3Rank: 3
中级会员


UID 29455
精华 0
积分 244
帖子 241
金钱 244 喜悦币
威望 0
人脉 0
阅读权限 30
注册 2004-6-18
来自 BJ
状态 离线
[推荐阅读] 谁有zwyanfeng的模板？


QUOTE:
原帖由 ysixin 于 2008-3-26 02:02 PM 发表
尽量放到另外一台机器
这个是必然的，有条件的话我还打算做多台的处理，不过这个就看上边的安排了
2008-3-26 02:10 PM#17
查看资料  发短消息  顶部
 
duketang (duketang)
版主
Rank: 7Rank: 7Rank: 7
无聊的老亮


UID 18398
精华 3
积分 84
帖子 1646
金钱 54 喜悦币
威望 30
人脉 0
阅读权限 100
注册 2003-2-17
来自 沈阳->北京->沈阳-> ...
状态 离线
[推荐阅读] 请问一下php程序后台实现原理??
查询的数据关系组合出来 有多少种？

我的意思是 db 只存储日分析结果  比如有20中组合 就每天存放20条记录

ps 加我qq或msn说比较好

[ 本帖最后由 duketang 于 2008-3-26 02:21 PM 编辑 ]



Msn:duketxl@gmail.com
OICQ:8339544
www.80666.cn
性搜
中国招标信息数据库
2008-3-26 02:20 PM#18
查看资料  Blog  发短消息  QQ  顶部
 
DevilHookey
中级会员
Rank: 3Rank: 3
中级会员


UID 29455
精华 0
积分 244
帖子 241
金钱 244 喜悦币
威望 0
人脉 0
阅读权限 30
注册 2004-6-18
来自 BJ
状态 离线
[推荐阅读] 大家来祝福我吧
明白楼上的意思了，＋你msn聊吧
2008-3-26 02:25 PM#19
查看资料  发短消息  顶部
 
liyaping
注册会员
Rank: 2



UID 73907
精华 0
积分 98
帖子 97
金钱 98 喜悦币
威望 0
人脉 0
阅读权限 20
注册 2006-5-24
状态 离线
[推荐阅读] PHP5.2.5要怎么配才能支持MYSQL5呢?
多此一举
在行业应用上，你这种需求一般不要使用日志法，因为日志的生成速度与处理速度相当的话，日志转移就会是很大负载
一般的通用做法是建立双极缓冲数据库
前级是基于内存的数据库,linux上有很多，缓存单条数据进入初统计，收集后整合入二级数据库（mysql）

比如电力系统的多路异动检测、网页用户访问检测等都是，因为最后mysql只需知道统计值就可以了

[ 本帖最后由 liyaping 于 2008-3-27 10:06 AM 编辑 ]
2008-3-27 10:04 AM#20
查看资料  发短消息  顶部
 22  2/3  <  1  2  3  > 
      


  可打印版本 | 推荐给朋友 | 订阅主题 | 收藏主题 | 开通个人空间  


 




Powered by Discuz! 6.1.0  © 2001-2010 Comsenz Inc.
Processed in 0.029820 second(s), 6 queries

(冀ICP备05009913号) 管理员:sadly 邮箱/MSN: sadly@phpx.com QQ:824008(长隐) 清除 Cookies - - Archiver - WAP