我知道 MySQL 和其他支持足够大的数据来存储和检索。我也知道 hadoop 和 mapreduce 等开源项目。(仅了解它们的目的和作用)。
编辑:你什么时候将 hadoop 、 pig 、 mapreduce 等概念引入你的应用程序?我们应该在项目本身的开始使用这些软件,还是可以在数据库增加到大型后的后期引入?任何链接将不胜感激。
我知道 MySQL 和其他支持足够大的数据来存储和检索。我也知道 hadoop 和 mapreduce 等开源项目。(仅了解它们的目的和作用)。
编辑:你什么时候将 hadoop 、 pig 、 mapreduce 等概念引入你的应用程序?我们应该在项目本身的开始使用这些软件,还是可以在数据库增加到大型后的后期引入?任何链接将不胜感激。
(虽然问题很宽泛,但我希望同样宽泛的答案会引发有益的讨论。)
请参阅什么是 Hadoop 的已接受答案?在SO。
Google 搜索是 Hadoop 可以回答的问题。想想大型搜索引擎的特点:
评论中提到了可扩展性:使用 Hadoop,不难将额外的(商品)服务器投入混合。
关于你的问题。如果你的项目有很多 SQL 和 von Neumann 瓶颈,那么 Hadoop 就没什么意义了。但是,如果您的数据是“大数据”,结构化程度较低,并且可以并行化,那么 Hadoop 将更有意义。