数据采集与处理平台搭建实录：Vue前后端分离架构部署笔记

声明：本文仅供技术学习参考，不构成任何投资建议或运营指导；任何实际部署必须遵守当地法律法规，禁止用于任何违法违规用途。

最近帮一个做行业数据分析的客户部署了一套数据采集与处理平台，前后端分离，采集器也是独立拆出来的。整套东西跑了两周，中间踩了几个坑，今天把过程记下来，给想上手类似架构的朋友一个参考。

先说下这套系统的定位：它是一个合法的公开数据采集演示平台，数据源全部来自开放接口和公开页面，严格遵守 robots 协议，只用于数据可视化和统计分析的演示。前端Vue，后端PHP，采集器用Python单独跑，互不影响。

整体架构拆开来聊

前端是标准的Vue全家桶，Vue2 + Element UI，打包后丢Nginx直接跑。有意思的是手机端做了两套UI，通过UA判断自动切换，一套偏简洁列表风格，一套偏卡片式仪表盘风格。实测两台手机来回切，cookie处理得还算干净，没有出现串样式的情况。

前端还带一个独立的账号体系：注册、邀请关系、个人数据报表，这些都是调用后端REST API完成的。报表页面用了ECharts做可视化，日活、采集量、任务完成率这几个核心指标一目了然。

这套系统最大的亮点是采集器完全独立。后端主程序只负责业务逻辑和接口，采集任务通过一个消息队列（我换成了RabbitMQ，原方案是轮询数据库，性能差一截）派发给Python采集器。采集器拿到任务后去拉公开数据源，清洗完写回MySQL。

亮点提示：采集器独立部署最大的好处是挂了不影响主站。我实测把采集器进程kill掉，前端照常访问，只是数据停止更新，恢复进程后自动续跑，这个设计值得抄。

服务器用的4核8G，CentOS 7.9。环境清单：Nginx 1.20、PHP 7.4（必须装redis和swoole扩展）、MySQL 5.7、Python 3.8、Redis 6。Python依赖主要是requests、aiohttp、pandas，用来做并发采集和数据清洗。

这里有个坑要提前说：很多公开数据接口返回格式千奇百怪，直接写死解析逻辑后面维护会哭。我的做法是在采集器里加了一个适配层，每个数据源一个parser类，统一输出标准JSON再入库。新增数据源只需要写一个parser，不动主流程。

另外采集频率一定要克制。我给每个源加了限速，单源每分钟不超过20次请求，超时自动退避重试。这既是技术需要，也是基本规矩——只采公开数据，不碰任何需要授权或涉及隐私的内容。

后台管理端功能比较全：采集任务调度（支持cron表达式）、数据源开关、数据清洗规则配置（正则过滤、去重、字段映射）、用户管理、代理/渠道管理和统计报表。清洗规则这块支持可视化配置，不用改代码就能调整字段，运营同学自己就能上手。

权限分了三级：超管、运营、渠道。渠道只能看自己名下的用户和数据，菜单按角色动态渲染，这块用Vue Router的权限路由实现的，前端同学应该很熟。

说实话，这套架构对想学前端分离项目部署的朋友挺友好。Vue构建、Nginx反向代理、消息队列、定时任务、Python采集，主流技术栈全踩了一遍，拿来练手或者作为公司内部数据看板的底座都够用。

二次开发空间也不小。比如你想接支付接口做会员订阅制的数据服务，系统预留了回调入口，接个微信或支付宝当面付，半天能调通。多语言也是现成的，i18n字典文件直接加语言包就行，我顺手加了一份英文语言包给客户测试，切换没毛病。

合规方面多嘴一句：这类采集系统只建议用于公开数据的学习研究和合法业务场景，使用过程请遵守法律法规，禁止任何违法违规用途。采集前确认目标站点允许抓取，这是底线。

问：采集器跑一段时间内存飙升怎么办？
答：大概率是pandas处理大文件没释放。我在清洗完一批数据后手动del加gc.collect()，再把单批处理量从5000条降到2000条，内存稳定在600M左右。

问：前端打包后部署，接口报跨域怎么解决？
答：别在前端瞎折腾proxy，直接用Nginx反向代理，把/api路径转发到后端端口，前后端同域部署，一劳永逸。

问：消息队列不装RabbitMQ能跑吗？
答：能，用Redis的list结构做简单队列也行，brpop阻塞读取，小流量场景完全够用，我测试环境就是这么跑的。

问：手机端两套UI会不会影响SEO？
答：这种系统一般不需要搜索引擎收录，我做了UA跳转加canonical标记。如果你要做展示页，建议单独出一套静态落地页，别把后台入口暴露出去。

整体部署下来，从环境搭建到跑通全流程，熟手一天，新手两三天。源码结构清晰，二开文档虽然少但代码注释够用，值得折腾。

声明：本文仅供技术学习参考，不构成任何投资建议或运营指导；任何实际部署必须遵守当地法律法规，禁止用于任何违法违规用途。