A team of researchers from the U.S. has developed a solution for processing large data sets on desktop or even a high-performance notebooks. So far, such operations have been performed on supercomputers or cloud computing - said the magazine "Technology Review".
Software that formed the researchers at Carnegie Mellon University, allows developers to perform a number of tasks previously requiring special servers and multi-databases, such as the creation of a development engine the "recommended" in the social network.
The engine that is used for overtaking rule such as "your friend likes this movie, so if it's a movie that you have not seen it, but it is the type of the previous film, perhaps you'll like it too." Applying this principle requires a massive analysis of the connections between people at different levels and areas such as social network friends fond of Scandinavian detective stories, not necessarily disagree on issues of ecology. This type of task, called a processing graph, is increasingly being used in the calculations and not just on social networks but also purely academic example in particle physics.
In this case, the processed data sets are large, which requires very large computing power, such as those offered by the Amazon EC2 cloud computer.
Developed by scientists at the Carnegie Mellon University Software GraphChi advantage of the possibilities offered by the use of modern computers and notebook hard disk large capacity. In systems designed for the analysis of large data files, graphs are stored in memory (RAM) supercomputers or high-performance databases and servers.
He said, "Technology Review" Carlos Guestrin, director of Select Lab belonging to Carnegie Mellon, the PC does not have the amount of RAM to store web graphs, but they can do hard drives, which can store a lot of information. However, the access time is longer than the RAM. So scientists have developed a solution for quick access to the disk and placed on the file.
With the help of this system, GraphChi MacMini placed on your computer could analyze the social graph of Twitter, having 40 million users and 1.2 million fixed connections. Analysis time was 59 minutes. In an earlier analysis of the Twitter cluster took 1000 computers to 400 minutes.
GraphChi, according Guestrina, it can also show the evolution of the model of large networks in real time, showing how changes in these relationships, without the assistance of large data grids, supercomputers and cloud computing.
According to researcher Jeremy Kepner at MIT, the solution developed by researchers at Carnegie Mellon is very important, as we now find the dock nets, travel planning, booking tickets or even information security based on the graphs. The introduction of such a solution for personal computers greatly facilitate the work of designers such advanced systems and accelerate their development.
米国の研究者チームは、デスクトップあるいは高性能ノートPCで大規模なデータセットを処理するためのソリューションを開発しました。これまでのところ、そのような操作は、スーパーコンピュータやクラウドコンピューティング上で実行されている - 雑誌 "テクノロジー·レビュー"と述べた。
カーネギーメロン大学の研究者たちを結成ソフトウェアは、開発者は、以前は次のようなソーシャルネットワークの "推奨される"開発エンジンの作成など、特別なサーバーおよびマルチデータベースを必要とする多くのタスクを実行することができます。
など追い越しルールに使用されるエンジンは、 "あなたの友人は、それはあなたがそれを見ていない映画だそうだとすれば、この映画を好きだが、それは以前のフィルムの種類ですが、おそらくあなたは、あまりにもそれを好きになるでしょう。"この原則を適用すると、このような北欧の犯罪小説の好きなソーシャルネットワークの友人が必ずしもエコロジーの問題に同意しないように、さまざまなレベルや地域の人々の間の接続の大規模な解析を必要とする。この処理グラフと呼ばれるタスクの種類、ますます計算にだけではなく、ソーシャルネットワーク上で使用されているだけでなく、純粋に学問的な例素粒子物理学インチ
この場合には、処理されたデータセットは、Amazon EC2クラウド·コンピュータによって提供されているような非常に大規模なコンピューティングパワーを必要とする、大規模である。
現代のコンピュータとノートブックのハードディスクの大容量を使用することによって提供される可能性のカーネギーメロン大学ソフトウェアGraphChiの利点の科学者によって開発された。大容量のデータファイルの分析のために設計されたシステムでは、グラフはメモリ（RAM）のスーパーコンピュータや高性能のデータベースおよびサーバーに格納されています。
彼は "テクノロジーレビュー"カルロスGuestrin、カーネギーメロン大学に属する選択ラボのディレクター、言った、PCは、ウェブグラフを格納するRAMの量を持っていませんが、彼らは多くの情報を格納することができますハードドライブを、行うことができます。しかし、アクセス時間は、RAMよりも長くなっています。だから科学者はディスクにすばやくアクセスするためのソリューションを開発した後、ファイルを配置しています。
このシステムの助けを借りて、GraphChi MacMiniは40万人のユーザーと120万の固定接続を有する、Twitterのソーシャルグラフを解析することができるあなたのコンピュータ上に置かれた。分析時間は59分であった。 Twitterのクラスタの以前の分析では400分に1000台を取った。
GraphChiは、Guestrinaよると、それはまた、大規模なデータ·グリッド、スーパーコンピュータやクラウド·コンピューティングの支援なしに、これらの関係でどのように変化を示す、リアルタイムで大規模ネットワークのモデルの進化を見ることができます。
マサチューセッツ工科大学（MIT）の研究者であるジェレミー·ケプナーによると、カーネギー·メロン大学の研究者によって開発されたソリューションは、私たちが現在ドックネット、旅行の計画、予約チケットやグラフに基づいても、情報セキュリティを見つけるように、非常に重要です。パーソナルコンピュータのようなソリューションの導入は非常にデザイナーのような高度なシステムの働きを促進し、開発を加速します。
一队来自美国的研究人员已经开发出一种解决方案，处理大型数据集，在桌面上，甚至是高性能笔记本电脑。到目前为止，已经进行超级计算机和云计算 - 说的“技术评论”杂志。
软件，形成了在卡内基·梅隆大学的研究人员，让开发人员能够执行一些任务，以前需要特殊的服务器和多数据库，如“建议”在社会网络中创造一个发展的引擎。
引擎，用于超车的规则，如“你的朋友喜欢这部电影，所以如果它是一部电影，你有没有看到它，但它的类型是以前的电影，也许你会喜欢它。”运用这一原则，在不同层次，不同领域，如社交网络的朋友们喜欢的斯堪的纳维亚犯罪小说不一定同意的生态问题上的人与人之间的联系需要大量的分析。在计算中，而不只是在社交网络上，越来越多地被用于处理图形，这种类型的任务，但也纯粹的学术例如在粒子物理学。
在这种情况下，经处理的数据集是大的，这需要非常大的计算功率，如Amazon EC2云计算机所提供的。
发达国家的科学家在卡内基 - 梅隆大学软件GraphChi使用现代化的电脑和笔记本电脑硬盘的大容量优势，所提供的可能性。在分析大型数据文件的系统设计，图形存储在存储器（RAM）的超级计算机或高性能的数据库和服务器。
他说：“技术评论”，选择属于卡耐基 - 梅隆大学的实验室主任卡洛斯Guestrin，PC不具备的RAM来存储网络图，但他们可以做硬盘驱动器，它可以存储大量的信息。然而，比RAM的访问时间越长。因此，科学家们已经开发出一种解决方案，以便快速访问到磁盘，并放置在文件上。
随着该系统的帮助下，，GraphChi MacMini放置在您的电脑上可以分析Twitter的社交图，有4000万用户和120万固定连接。分析时间为59分钟。在前面的分析Twitter的集群，花了1000台电脑，400分钟。
GraphChi，据Guestrina，它也可以显示大型网络的演化模型的实时，展示了如何在这些关系中，没有大的数据网格，超级计算机和云计算的协助。
根据麻省理工学院的研究人员杰里米·凯普纳，在卡耐基梅隆大学的研究人员开发的解决方案是非常重要的，因为我们现在发现的码头网络，旅游规划，订票，甚至信息安全的基础上的图形。这样的解决方案，为个人电脑的推出，极大地方便了工作的设计师，先进的系统，并加快其发展。
No comments:
Post a Comment