我司要做大数据千人千面项目, 本篇记录从0到1的架构设计过程, 开发过程. 方便后来者理解和使用

架构规划

总体

1. 大数据基建, 数据基础服务, 搜索功能
2. 用户个性化搜索和推荐
3. 用户实时个性化搜索和推荐

一期

规划

从0到1实现搜推服务, 需要基础的服务以及数据存储选型, 基于我司的业务模型和数据量设计如下架构

• 基建

  • Elasticsearch, Kibana, Kafka, Mongo, Zookeeper

• 服务

  • Mysql至Es的全量同步及增量同步服务
  • 前端数据埋点

• 问题

  • 各数据表字段不同
  • 数据中存储的json数据字段变动很大

执行