喜悦国际村 
» 游客:  注册 | 登录 | 搜索 | 统计 | 帮助

 喜悦国际村 » PHP高级编程 » 千W级数据反馈处理，大家都有什么好设计思路吗？ RSS 订阅当前论坛  

喜悦证交所已经关闭

上一主题 下一主题
 22  1/3  1  2  3  > 
      
标题: [讨论] 千W级数据反馈处理，大家都有什么好设计思路吗？  
 
DevilHookey
中级会员
Rank: 3Rank: 3
中级会员


UID 29455
精华 0
积分 244
帖子 241
金钱 244 喜悦币
威望 0
人脉 0
阅读权限 30
注册 2004-6-18
来自 BJ
状态 离线
[广告]: q m
千W级数据反馈处理，大家都有什么好设计思路吗？

RT，我自己这边小想了一个，不足的还望大家指教
由入口接受数据并根据数据分类写日志，然后当天日志超过百M定个规则拆分创建下一个日志
然后cron一个分析程序做当天日志分析，写到数据库里，为即时查询用
数据库里的数据超过3个月就移出做成备份LOG，没有需要就不再动这写LOG了

看看大家有什么不同看法没？

[ 本帖最后由 DevilHookey 于 2008-3-25 11:30 AM 编辑 ]
2008-3-24 05:43 PM#1
查看资料  发短消息  顶部
 
php5
金牌会员
Rank: 6Rank: 6
中级会员


UID 62897
精华 0
积分 1263
帖子 1112
金钱 1263 喜悦币
威望 0
人脉 0
阅读权限 70
注册 2005-1-3
来自 福建
状态 离线
[推荐阅读] PHP 5.2.3不支持session_set_save_handler函数吗?
不明白做什么，像是数据挖掘工作?
2008-3-24 08:44 PM#2
查看资料  发短消息  顶部
 
DevilHookey
中级会员
Rank: 3Rank: 3
中级会员


UID 29455
精华 0
积分 244
帖子 241
金钱 244 喜悦币
威望 0
人脉 0
阅读权限 30
注册 2004-6-18
来自 BJ
状态 离线
[推荐阅读] php4.3.2的session问题
基本上属于数据挖掘，更倾向于统计分析

[ 本帖最后由 DevilHookey 于 2008-3-25 03:24 PM 编辑 ]
2008-3-24 11:26 PM#3
查看资料  发短消息  顶部
 
lovecom
中级会员
Rank: 3Rank: 3



UID 80708
精华 0
积分 212
帖子 101
金钱 212 喜悦币
威望 0
人脉 0
阅读权限 30
注册 2006-9-28
状态 离线
[推荐阅读] 类里不用GLOBAL？？那用什么？
按小时，天分表。log算完后及时gzip或者保留一个月做月排重后gzip
2008-3-24 11:32 PM#4
查看资料  发短消息  顶部
 
DevilHookey
中级会员
Rank: 3Rank: 3
中级会员


UID 29455
精华 0
积分 244
帖子 241
金钱 244 喜悦币
威望 0
人脉 0
阅读权限 30
注册 2004-6-18
来自 BJ
状态 离线
[推荐阅读] php能不能稳定地取得客户端的MAC地址?


QUOTE:
原帖由 lovecom 于 2008-3-24 11:32 PM 发表
按小时，天分表。log算完后及时gzip或者保留一个月做月排重后gzip
这样分表对月即时查询是否会影响效率？
2008-3-25 09:30 AM#5
查看资料  发短消息  顶部
 
DevilHookey
中级会员
Rank: 3Rank: 3
中级会员


UID 29455
精华 0
积分 244
帖子 241
金钱 244 喜悦币
威望 0
人脉 0
阅读权限 30
注册 2004-6-18
来自 BJ
状态 离线
[推荐阅读] 应聘PHP开发和开发技术管理（深圳，广州）
村里现在这么冷清？
2008-3-25 03:25 PM#6
查看资料  发短消息  顶部
 
duketang (duketang)
版主
Rank: 7Rank: 7Rank: 7
无聊的老亮


UID 18398
精华 3
积分 84
帖子 1646
金钱 54 喜悦币
威望 30
人脉 0
阅读权限 100
注册 2003-2-17
来自 沈阳->北京->沈阳-> ...
状态 离线
[推荐阅读] 菜鸟关于类编写的一些疑问
什么类型的数据？ 精确到什么程度的分析？ 数据递增量？



Msn:duketxl@gmail.com
OICQ:8339544
www.80666.cn
性搜
中国招标信息数据库
2008-3-25 03:31 PM#7
查看资料  Blog  发短消息  QQ  顶部
 
DevilHookey
中级会员
Rank: 3Rank: 3
中级会员


UID 29455
精华 0
积分 244
帖子 241
金钱 244 喜悦币
威望 0
人脉 0
阅读权限 30
注册 2004-6-18
来自 BJ
状态 离线
[推荐阅读] 帮助介绍一款聊天室程序
回老亮，
类型多为INT，最多有个IP有个URL
精确到每次反馈
增量大概每天700W－900W
2008-3-25 05:07 PM#8
查看资料  发短消息  顶部
 
duketang (duketang)
版主
Rank: 7Rank: 7Rank: 7
无聊的老亮


UID 18398
精华 3
积分 84
帖子 1646
金钱 54 喜悦币
威望 30
人脉 0
阅读权限 100
注册 2003-2-17
来自 沈阳->北京->沈阳-> ...
状态 离线
[推荐阅读] mysql连接校对问题
统计逻辑呢？
还有这个数据进入的方法是每天进入一次（比如线下数据导入） 还是平均到各个时段进入（线上）
我说的递增量是以后数据量的增长幅度 每天固定都是700-900w 不涨了？



Msn:duketxl@gmail.com
OICQ:8339544
www.80666.cn
性搜
中国招标信息数据库
2008-3-26 09:29 AM#9
查看资料  Blog  发短消息  QQ  顶部
 
duketang (duketang)
版主
Rank: 7Rank: 7Rank: 7
无聊的老亮


UID 18398
精华 3
积分 84
帖子 1646
金钱 54 喜悦币
威望 30
人脉 0
阅读权限 100
注册 2003-2-17
来自 沈阳->北京->沈阳-> ...
状态 离线
[推荐阅读] 谁有zwyanfeng的模板？
还有你即时查询的时候应该是统计结果 表格  不需要看到结果中某一条的内容吧？



Msn:duketxl@gmail.com
OICQ:8339544
www.80666.cn
性搜
中国招标信息数据库
2008-3-26 09:30 AM#10
查看资料  Blog  发短消息  QQ  顶部
 22  1/3  1  2  3  > 
      


  可打印版本 | 推荐给朋友 | 订阅主题 | 收藏主题 | 开通个人空间  


 




Powered by Discuz! 6.1.0  © 2001-2010 Comsenz Inc.
Processed in 0.026597 second(s), 6 queries

(冀ICP备05009913号) 管理员:sadly 邮箱/MSN: sadly@phpx.com QQ:824008(长隐) 清除 Cookies - - Archiver - WAP