读书人

舆论平台架构介绍

发布时间: 2012-12-14 10:33:07 作者: rapoo

舆情平台架构介绍

舆情平台抓取平—ID

?

?1、抓取分两部分:一部分是从微博、论坛、股吧等抓取(这部分外包,28台服务器,使用mysql);另一部分是新闻TRS(SQLSERVER 154 155)

?

2、抓取到的信息要进入平台,需要进行 格式清理、去重、模板等工作(news-task)

?

3、舆情平台对这些信息进行去重、分类以及审核等工作(news-web)

?

4、DID 数据中心,舆情平台审核过的数据会发送至这里

?

?

读书人网 >软件开发

热点推荐