MSExcelは1,048,576行を表示できます。通常の使用ではそれは非常に多いように見えるかもしれませんが、それだけでは不十分なシナリオはたくさんあります。
ログファイルでも大きなデータセットでも、数百万行のCSVファイルや膨大なテキストファイルを簡単に見つけることができます。Excelはこれほど大きなファイルをサポートできないので、どの程度正確にファイルを開きますか？確認してみましょう。
通常のテキストエディタが(Normal Text Editors)本当に大きなファイルを開か(Open Really Large Files)ないのはなぜですか？
コンピューターにはギガバイトのストレージがあるのに、なぜテキストエディターで大きなファイルを開くことができないのでしょうか。
ここでは2つの要素が関係しています。一部のアプリケーションには、表示できるデータの量にハードコードされた制限があります。あなたのPCがどれだけのメモリを持っているかは関係ありません、彼らはただそれを使用しません。
2番目の問題はRAMです。多くのテキストエディタには行数に厳しい制限はありませんが、メモリの制限のために大きなファイルを表示することはできません。ファイル全体をシステムRAMにロードするため、このメモリが十分に大きくない場合、プロセスは失敗します。
方法1：無料のエディターを使用する
非常に大きなテキストファイルを表示する最良の方法は、テキストエディタを使用することです。テキストエディタだけでなく、コードを書くためのツールもあります。このようなアプリは通常、大きなファイルを問題なく処理でき、無料です。
ラージテキストファイルビューア(Large Text File Viewer)は、おそらくこれらのアプリケーションの中で最も単純です。非常に使いやすく、高速に動作し、リソースのフットプリントが非常に低くなっています。唯一の欠点は？ファイルを編集することはできません。ただし、大きなCSV(CSV)ファイルのみを表示したい場合は、これがその作業に最適なツールです。
大きなテキストファイルを編集する場合も、Emacsを試してみてください。もともとはUnixシステム用に作成されましたが、 (Unix)Windowsでも(Windows)完全に機能し、大きなファイルを処理できます。同様に、NeovimとSublime Textは、ギガバイトサイズの(Sublime Text)CSVテキストファイルを開くために使用できる2つの軽量IDEです。(IDEs)
探しているのが大きなログファイルからデータを検索することだけである場合、kloggはまさにあなたのためのツールです。人気のあるglogg(glogg)の更新フォークであるこのアプリケーションを使用すると、膨大なテキストファイルから複雑な検索操作を簡単に実行できます。コンピューターで生成されたログファイルには数百万行が含まれることが多いため、kloggはそのようなファイルサイズで問題なく動作するように設計されています。
方法(Method)2：複数の部分に分割する(Into Multiple Parts)
大きなCSV(CSV)ファイルを開こうとする際の全体的な問題は、それらが大きすぎることです。しかし、これらを複数の小さなファイルに分割するとどうなるでしょうか。
これは、一般的に新しいテキストエディタのインターフェイスを学習する必要がないため、一般的なソリューションです。代わりに、オンライン(one of the many CSV splitters available online)で利用できる多くのCSVスプリッターのいずれかを使用して、大きなファイルをいくつかの読みやすいファイルに分割できます。これらの各ファイルには、通常どおりアクセスできます。
ただし、これはこれを実行するための最良の方法ではありません。大きなファイルを分割すると、多くの場合、奇妙なタイプミスや不適切に構成されたファイルが発生する可能性があります。さらに、各チャンクを個別に開くと、データ全体を一度にフィルタリングできなくなります。
方法3：データベースにインポートする
数ギガバイトに拡張されるテキストファイルと.csvファイルは、通常、大きなデータセットです。では、それらをデータベースにインポートしてみませんか？
SQLは、最近使用されている最も一般的なデータベースマークアップ言語です。使用されているSQLには多くのバージョンがあります(many versions of SQL)が、最も簡単なのはおそらくMySQLです。運が良ければ、CSVファイルをMySQLテーブルに変換する(convert a CSV file into a MySQL table)こともできます。
これは決して大きなCSVファイルを処理する最も簡単な方法ではないため、定期的に大きなデータセットを処理する場合にのみこれをお勧めします。MySQLが難しすぎるように思われる場合は、代わりに.csvファイルをいつでもMSAccessにインポートできます(MS Access)。
方法(Method)4：Pythonライブラリを使用して分析する
数百万行のデータを含む.csvファイルを使用している場合、手動でそれを理解することは明らかにできません。傾向を理解するために、データをフィルタリングし、特定のクエリを実行することをお勧めします。
では、それを行うためのPythonコード(write Python code)を書いてみませんか？
繰り返しますが、これは最もユーザーフレンドリーな方法ではありません。Pythonは習得するのが最も難しいプログラミング言語(Python isn’t the hardest programming language to learn)ではありませんが、コーディングであるため、最善のアプローチではない可能性があります。それでも、非常に大きなCSV(CSV)ファイルを毎日解析する必要がある場合は、Pythonコードを使用してタスクを自動化すること(automate the task with some Python code)をお勧めします。
方法5：プレミアムツールを使用
最初の方法で見たテキストエディタは、 CSV(CSV)処理専用のツールではありませんでした。これらは、大きな.csvファイルの操作にも使用できる汎用ツールでした。
しかし、特殊なアプリケーションについてはどうでしょうか？この問題を解決するために作成されたアプリはありませんか？
実はあります。たとえば、CSV Explorerは、最後の2つの方法（ (CSV Explorer)SQLデータベースとPythonコード）で説明したプロセスに基づいて構築され、任意のサイズの(Python)CSVファイルを表示および編集できるアプリを作成します。グラフの作成やCSVエクスプローラー(CSV Explorer)でのデータのフィルター処理など、スプレッドシートツールに期待するすべてのことを実行できます。
もう1つのオプションはUltraEditです。以前のツールとは異なり、これは.csvファイルだけでなく、あらゆる種類のテキストファイルを対象としています。数ギガバイトの範囲のテキストファイルとCSV(CSV)ファイルを簡単に処理でき、前述の無料のエディターの多くと同様のインターフェイスを備えています。
これらのツールの唯一の欠点は、プレミアムアプリケーションであり、使用するには有料ライセンスを取得する必要があることです。無料の試用版をいつでも試して、機能を確認することができます。または、1回だけ使用する場合も同様です。
大きなテキスト(Large Text)ファイルとCSVファイル(CSV Files)を開くための最良の方法は何ですか？
ビッグデータ(Big Data)のこの時代では、ギガバイト単位で実行されるテキストファイルに遭遇することは珍しくありません。これは、メモ帳(Notepad)やMSExcelなどの組み込みツールで表示することさえ困難な場合があります。このような大きなCSVファイルを開くには、サードパーティのアプリケーションをダウンロードして使用する必要があります。
そのようなファイルを表示するだけの場合は、ラージテキストファイルビューア(Large Text File Viewer)が最適です。実際に編集するには、Emacsのような機能豊富なテキストエディタを試すか、 (Emacs)CSVExplorerのようなプレミアムツールを試してみてください。
CSVファイルを分割したり、データベースにインポートしたりするなどの手法では、手順が多すぎます。巨大なテキストファイルを頻繁に使用する場合は、専用のプレミアムツールの有料ライセンスを取得することをお勧めします。
How to Open Really Large Text and CSV Files
MS Excel can display 1,048,576 rows. Whilе that may seem like a really large number in normal usage, there are plenty of scenarios where that isn’t quite enough.
Whether you’re looking at log files or large data sets, it’s easy to come across CSV files with millions of rows or enormous text files. Since Excel cannot support files this large, how exactly do you open them? Let’s find out.
Why Can Normal Text Editors Not Open Really Large Files?
A computer has gigabytes of storage, so why can’t text editors open large files?
There are two factors at play here. Some applications have a hardcoded limit on how much data they can display. It doesn’t matter how much memory your PC has, they just won’t use it.
The second issue is RAM. Many text editors do not have a hard limit on the number of rows, but cannot display large files due to memory limitations. They load the entire file into the system RAM, so if this memory isn’t large enough, the process fails.
Method #1: Using Free Editors
The best way to view extremely large text files is to use… a text editor. Not just any text editor, but the tools meant for writing code. Such apps can usually handle large files without a hitch and are free.
Large Text File Viewer is probably the simplest of these applications. It’s really easy to use, works fast and has a very low resource footprint. The only downside? It cannot edit the files. But if you only want to view large CSV files, this is hands down the best tool for the job.
For editing large text files as well, you should try Emacs. Originally created for Unix systems, it works perfectly well on Windows as well, and can handle large files. Similarly, Neovim and Sublime Text are two lightweight IDEs that can be used to open gigabyte-sized CSV text files.
If all you’re looking for is to search for data through large log files, then klogg is just the tool for you. An updating fork of the popular glogg, this application allows you to perform complex search operations through enormous text files with ease. Since computer-generated log files can often have millions of rows, klogg is designed to work with such file sizes without an issue.
Method #2: Split Into Multiple Parts
The whole problem with trying to open large CSV files is that they are too large. But what if you were to split these into multiple smaller files?
This is a popular solution, as it generally doesn’t involve having to learn the interface of a new text editor. Instead, you can use one of the many CSV splitters available online to break up the large file into a number of easy-to-open files. Each of these files can then be accessed normally.
However, this isn’t the best way to go about this. Splitting a large file can often lead to weird typos or improperly configured files. Moreover, opening each chunk separately prevents you from filtering through the whole data at once.
Method #3: Import Into a Database
Text and .csv files extending to multiple gigabytes are generally large datasets. So why not just import them into a database?
SQL is the most common database markup language used these days. There are many versions of SQL in use, but the easiest is probably MySQL. And as luck would have it, it is possible to convert a CSV file into a MySQL table.
This is by no means the easiest method of dealing with large CSV files, so we only recommend this if you want to deal with large datasets on a regular basis. If MySQL sounds too tough, you can always import your .csv files to MS Access instead.
Method #4: Analyze With Python Libraries
When you’re working with a .csv file with millions of rows of data, you’re obviously not going to be able to make much sense of it manually. You probably want to filter the data and run specific queries to understand trends.
So why not write Python code to do just that?
Once again, this is not the most user-friendly method. While Python isn’t the hardest programming language to learn, it is coding, so it might not be the best approach for you. Still, if you find yourself having to parse through really large CSV files on a daily basis, you might want to automate the task with some Python code.
Method #5: With Premium Tools
The text editors we saw in the first method weren’t dedicated tools meant for CSV processing. They were general-purpose tools that could be used to work with large .csv files as well.
But what about specialized applications? Are there no apps out there that are created to solve this problem?
There are, actually. CSV Explorer, for example, builds on the very process we described in the last two methods (SQL database and Python code) to create an app capable of viewing and editing CSV files of any size. You can do everything you expect from a spreadsheet tool like create graphs or filter the data in CSV Explorer.
Another option is UltraEdit. Unlike the previous tool, this is meant not just for .csv files but for any type of text file. It can easily handle text and CSV files ranging to a few gigabytes, with an interface similar to many of the free editors we discussed earlier.
The only drawback with these tools is that they are premium applications, requiring you to get a paid license to be able to use them. You can always try out their free trial versions to check out their features, or if you only have a one-time use.
What Is the Best Way To Open Large Text and CSV Files?
In this age of Big Data, it’s not uncommon to run into text files running into gigabytes, which can be hard to even view with built-in tools like Notepad or MS Excel. To be able to open such large CSV files, you need to download and use a third-party application.
If all you want is to view such files, then Large Text File Viewer is the best choice for you. For actually editing them, you can try a feature-rich text editor like Emacs, or go for a premium tool like CSV Explorer.
Techniques like splitting the CSV file or importing it into a database involve just too many steps. You’re better off getting a paid license of a dedicated premium tool if you find yourself working with huge text files a lot.
