我有一个公司的员工奖励和跟踪系统。我正在为公司开发一个系统,每天用FTP为我提供销售数据。(不幸的是,他们没有提供这方面的网络服务。)我必须存储和处理所有新的销售和员工数据,我必须计算员工通过销售赢得多少积分,他们有多少徽章。。。(基于销售额)。我已经有一个系统工作正常,但我正在考虑将这些计算过程转移到云中,并在计算后传输点数据。我的系统读取所有的销售数据并将其存储在MySQL中。之后,PHP脚本将原始数据处理为点数据。我的网页不加载原始数据,它们只需要基本的个人信息和员工钱包余额。
在这种情况下,哪个数据库系统更适合这样做?哪个服务(AWS、Gcloud等)适合我们的需要?怎样才能使这个系统工作得更快?
提前谢谢。

最佳答案

首先,通过引入消息队列(下载、文件处理、计算等),使一些进程并行和异步。对于PHP/MySQL,最简单的建议是Beanstalkd它有一个很好的admin panel
对于更大的步骤,您可以选择Google BigQuery这样的云服务,每个月您都有1TB的免费查询,存储成本低10-20美元(2017年第1季度)。这要求您通过流式插入或加载作业将数据的副本插入BigQuery。一旦数据进入,即使是在大型数据集上,也可以编写更长时间的SQL查询。如果需要通过用户定义的函数修改某些行,也可以在BigQuery中进行修改。
如果您正在寻找一个超过2000 QPS的MySQL替换,您可以查看Cloud Spanner这里有一个Quizlet's great article what is Spanner good for

07-27 16:23