ビッグデータ(Big Data)という用語は、オンラインでもオフラインでも、地球上のほぼすべての場所でますます使用されています。そして、それはコンピューターだけに関係しているのではありません。これは、情報技術(Information Technology)と呼ばれる包括的な用語に分類されます。これは、現在、他のほとんどすべての技術および研究とビジネスの分野の一部です。ビッグデータ(Big Data)は大したことではありません。それを取り巻く誇大宣伝は、あなたを混乱させるのは確かにかなり大きな問題です。この記事では、ビッグデータ(Big Data)とは何かを見ていきます。また、 NetFlix(NetFlix)がクライアントのニーズにより適切に対応するために、データ、つまりビッグデータ(Big Data)をどのように使用したかの例も含まれています。

ビッグデータとは
あなたの会社のサーバーにあるデータは、昨日までのデータであり、ソートされてファイルされていました。突然、スラングのビッグデータ(Big Data)が人気になり、今ではあなたの会社のデータはビッグデータ(Big Data)です。この用語は、組織がこれまでに保存したすべてのデータを対象としています。クラウドに保存されているデータや、ブックマークしたURLも含まれます。(URLs)あなたの会社はすべてのデータをデジタル化していない可能性があります。まだすべてのデータを構造化していない可能性があります。しかし、その後、あなたの会社のすべてのデジタル、論文、構造化および非構造化データはビッグデータ(Big Data)になりました。
つまり、サーバーに存在するすべてのデータは、分類されているかどうかに関係なく、まとめてビッグデータ(BIG DATA)と呼ばれます。このすべてのデータを使用して、さまざまなタイプの分析を使用してさまざまな結果を得ることができます。すべての分析ですべてのデータを使用する必要はありません。さまざまな分析では、ビッグデータ(BIG DATA)のさまざまな部分を使用して、必要な結果と予測を生成します。
ビッグデータ(Big Data)は基本的に、予測やその他の用途に使用できる結果について分析するデータです。ビッグデータ(Big Data)という用語を使用すると、突然、会社または組織がトップレベルの情報(Information)技術を使用して、長年にわたって意図的または意図せずに保存した同じデータを使用して、さまざまなタイプの結果を推測するようになります。
ビッグデータの大きさ
基本的に、結合されるすべてのデータはビッグデータですが、多くの研究者は、(Big Data)ビッグデータ(Big Data –)自体が通常のスプレッドシートやデータベース管理の通常のツールを使用して操作できないことに同意しています。すべてのデータを一度に分析できるように(分析の反復が含まれる場合があります)、 Hadoop(Hadoop)などの特別な分析ツールが必要です(これについては別の投稿で説明します)。
上記とは逆に、私はこのテーマの専門家ではありませんが、大小を問わず、組織化されているかどうかにかかわらず、あらゆる組織のデータはその組織のビッグデータであり、組織は独自のツールを選択して分析することができます。データ。(Contrary to the above, though I am not an expert on the subject, I would say that data with any organization – big or small, organized or unorganized – is Big Data for that organization and that the organization may choose its own tools to analyze the data.)
通常、データを分析するために、人々は分析が容易になるように1つ以上の共通のフィールドに基づいて異なるデータセットを作成していました。ビッグデータ(Big Data)の場合、それを分析するためのサブセットを作成する必要はありません。データの大きさに関係なく、データを分析できるツールができました。おそらく、これらのツール自体が、データを分析しているときでもデータを分類します。
ジミー・グーターマン(Jimmy Guterman)の「ビッグデータ」という本から2つの文に言及することが重要だと思います。
“Big Data: when the size and performance requirements for data management become significant design and decision factors for implementing a data management and analysis system.”
-と-
“For some organizations, facing hundreds of gigabytes of data for the first time may trigger a need to reconsider data management options. For others, it may take tens or hundreds of terabytes before data size becomes a significant consideration.”
したがって、ボリュームと分析の両方がビッグデータ(Big Data)の重要な部分であることがわかります。
読む(Read):データマイニングとは何ですか?(What is Data Mining?)
ビッグデータの概念
これは、ほとんどの人が同意しないもう1つのポイントです。一部の専門家は、ビッグデータの概念(Big Data Concepts)は3つのVであると言います。
- 音量
- 速度
- バラエティ
他のいくつかは、概念にさらにいくつかのVを追加します。
- 視覚化
- 信憑性(信頼性)
- 変動性と
- 価値
この投稿はすでに大きくなっているので、ビッグデータ(Big Data)の概念については別の記事で説明します。私の意見では、最初の3つのVは、ビッグデータ(Big Data)の概念を説明するのに十分です。
ビッグデータの例–NetFlix(Big Data Example – How NetFlix)が問題を修正するためにそれをどのように使用したか
2008年に向けて、多くの顧客が暗闇に置かれたためにNetFlixで停止が発生しました。(NetFlix)一部はまだストリーミングサービスにアクセスできましたが、ほとんどはアクセスできませんでした。一部の顧客はレンタルDVD(DVDs)を入手できましたが、他の顧客は失敗しました。ウォールストリートジャーナル(Wall Street Journal)のブログ投稿によると、 Netflixはオンデマンドストリーミングを開始したばかりです。
停止により、経営陣は将来起こりうる問題について考えさせられました。ビッグデータ(Big Data)になりました。そのデータを使用して、トラフィックの多いエリア、影響を受けやすいポイント、ネットワークスループットなどを分析し、グローバル化に伴って将来問題が発生した場合のダウンタイムを削減するために取り組みました。ビッグデータ(Big Data)の例を確認したい場合は、ウォールストリートジャーナルブログ(Wall Street Journal Blog)へのリンク(the link)を次に示します。
上記は、素人の言語でのビッグデータとは何かを要約したものです。非常に基本的な紹介と言えます。コンセプト(Concepts)、分析(Analysis)、ツール(Tools)、ビッグデータの使用(uses of Big Data)、ビッグデータ3 Vなどの関連要素について、さらにいくつかの記事を書く予定です。一方、上記に何か追加したい場合は、コメントして共有してください。私達と一緒に。
次を読む(Read next):Webスクレイピング(Web Scraping)とは何ですか?
What is Big Data - A Simple Explanation with Example
The term Big Data is being increasingly used almost everywhere on the planet – online and offline. And it is not related to computers only. It comes under a blanket term called Information Technology, which is now part of almost all other technologies and fields of studies and businesses. Big Data is not a big deal. The hype surrounding it is a sure pretty big deal to confuse you. This article takes a look at what is Big Data. It also contains an example of how NetFlix used its data, or rather, Big Data, to better serve its clients’ needs.

What is Big Data
The data lying in the servers of your company was just data until yesterday – sorted and filed. Suddenly, the slang Big Data got popular, and now the data in your company is Big Data. The term covers each and every piece of data your organization has stored until now. It includes data stored in clouds and even the URLs that you bookmarked. Your company might not have digitized all the data. You may not have structured all the data already. But then, all the digital, papers, structured and non-structured data with your company is now Big Data.
In short, all the data – whether or not categorized – present in your servers are collectively called BIG DATA. All this data can be used to get different results using different types of analysis. It is not necessary that all analyses use all the data. The different analysis uses different parts of the BIG DATA to produce the results and predictions necessary.
Big Data is essentially the data that you analyze for results that you can use for predictions and other uses. When using the term Big Data, suddenly your company or organization is working with top-level Information technology to deduce different types of results using the same data that you stored intentionally or unintentionally over the years.
How big is Big Data
Essentially, all the data combined is Big Data, but many researchers agree that Big Data – as such – cannot be manipulated using normal spreadsheets and regular tools of database management. They need special analysis tools like Hadoop (we’ll study this in a separate post) so that all the data can be analyzed at one go (may include iterations of analysis).
Contrary to the above, though I am not an expert on the subject, I would say that data with any organization – big or small, organized or unorganized – is Big Data for that organization and that the organization may choose its own tools to analyze the data.
Normally, for analyzing data, people used to create different data sets based on one or more common fields so that analysis becomes easy. In the case of Big Data, there is no need to create subsets for analyzing it. We now have tools that can analyze data irrespective of how huge it is. Probably, these tools themselves categorize the data even as they are analyzing it.
I find it important to mention two sentences from the book “Big Data” by Jimmy Guterman:
“Big Data: when the size and performance requirements for data management become significant design and decision factors for implementing a data management and analysis system.”
-And-
“For some organizations, facing hundreds of gigabytes of data for the first time may trigger a need to reconsider data management options. For others, it may take tens or hundreds of terabytes before data size becomes a significant consideration.”
So you see that both volume and analysis are an important part of Big Data.
Read: What is Data Mining?
Big Data Concepts
This is another point where most people don’t agree. Some experts say that the Big Data Concepts are three V’s:
- Volume
- Velocity
- Variety
Some others add few more V’s to the concept:
- Visualization
- Veracity (Reliability)
- Variability and
- Value
I will cover concepts of Big Data in a separate article as this post is already getting big. In my opinion, the first three V’s are enough to explain the concept of Big Data.
Big Data Example – How NetFlix used it to fix its problems
Towards 2008, there was an outage at NetFlix due to which many customers were left in the dark. While some could still access the streaming services, most of them could not. Some customers managed to get their rented DVDs whereas others failed. A blog post on the Wall Street Journal says Netflix had just started on-demand streaming.
The outage made the management think about the possible future problems and hence; it turned to Big Data. It analyzed high traffic areas, susceptible points, and network throughput, etc. using that data and worked on it to lower the downtime if a future problem arises as it went global. Here is the link to the Wall Street Journal Blog, if you wish to check out the examples of Big Data.
The above summarizes what is Big Data in a layman’s language. You can call it a very basic introduction. I plan to write a few more articles on associated factors such as – Concepts, Analysis, Tools, and uses of Big Data, Big Data 3 V’s, etc. Meanwhile, if you would like to add anything to the above, please comment and share with us.
Read next: What is Web Scraping?