Computer and storage/コンピュータとストレージ
Computer
This is a list of computers on which I have handled CoMBI data. Please refer to know if you can perform CoMBI on your own.
| model | year | CPU | GPU | RAM | Storage | comments |
|---|---|---|---|---|---|---|
| MacStudio | 2023- | M2 Ultra 16+8 cores |
Unified 128GB |
Unified 128GB |
SSD 2TB | No problem |
| MacBookPro16 | 2022- | M1 Max 2+8 cores |
Unified 64GB |
Unified 64GB |
SSD 2TB | Faster for almost all processing, but slower for only Photoshop macro. |
| iMac27 | 2017- | Core i7 4 cores+HT |
Radeon 580X DDR5 8GB |
64GB | SSD 1TB | Currently working well. |
| MacBookPro15 | 2018- | Core i9 6 cores+HT |
Vega20 HBM2 4GB |
32GB | SSD 1TB | Currently working well. |
| iMac27 | 2012-2017 | Core i7 4 cores |
GeForce 680MX DDR5 2GB |
32GB | HDD 3TB Fusion | Works well on 2012. Recall for HDD and stand. Thrown due to GPU and power failure. |
| MacBookPro13 | 2015-2018 | Core i7 | Intel Iris |
16GB | SSD 512GB | Not recommended, insufficient RAM, weak graphics |
これまでに、私がCoMBIのデータを扱ってきたパソコン一覧です。お手元のパソコンでできるかどうかを知るために、参考にしてください。
CPU
The number of cores and frequency of the CPU affect RAW development and Photoshop batch processing. Hyperthreding (HT) did not work in Photoshop (2019). Any modern Intel i5, i7, or i9 works well. If you plan to use ilastik for segmentatin, get more cores as possible. ilastik needs more CPU power and core number. When I tried with iMac 4-core, 8-threads, PC and I were almost sleeping.
CPUのコア数と周波数が、RAW現像と、Photoshop自動処理に効きます。Photoshopではhyperthreding (HT)は、効きませんでした（2019年）。いまどきのIntel i5, i7, i9なら、どれでもよく働きます。もし、ilastikで、Segmentationをするなら、コア数は多い方がいいです。ilastik作業は、CPUだけに負荷が掛かり、かなり高負荷です。4コア8スレッドのiMacでは眠くなります。
GPU
GPUs work well for 3D rendering, and 8GB of DDR5 or 4GB of HBM2 is enough. There are memory standards include DDR5, DDR6, and HBM2. HBM2 is referred to as the most powerful but expensive, and DDR6 as more powerful and inexpensive (2020). The Apple M1 seems to be equivalent to 4GB of DDR5 (560X), and may be capable of 3D imaging.
DDR5 8GBやHBM2 4GBで十分働きます。GPUは、3Dレンダリングに効きます。規格はDDR4, DDR5, DDR6, HBM2の順で高性能になります。HBM2規格は高性能だが高い、DDR6規格は高性能で安い（2020年)、と評されます。Apple M1は、どうやら、DDR5 4GB (560X)相当らしく、なんとか3Dイメージングはできそうですが、はやり、M1 pro, M1 max (5700XT, 16GB DDR6相当）のほうがいいでしょう。
Memory/メモリ
Minimum;16GB, Recommended;32GB, Maximum;64GB.
The tasks that require more memory are serial image processing and RAW-JPEG conversion in ImageJ. If you have 16GB, you should use a virtual stack for opening a series of images instead of expanding them into memory. For serial image processing, you should use macro. For RAW-JPEG conversion, you might wait for overnight. This is because RAW-JPEG conversion takes up 1GB of memory for about every 100 conversions, then memory overload occurs, and the conversion becomes very slow. With 32GB or more, you don't have to pay attention or worry about those issues.
最低16GBで余裕なく、推奨32GBから余裕がでてきます。64GBあれば安心です。メモリが必要な作業は、ImageJでの連続画像処理とRAW-JPEG変換です。16GBの場合、連続画像を開くときは、メモリに展開せず、virtual stackを使います。画像処理では、macro機能を使います。RAW−JPEG変換では、約100枚の変換ごとに1GBのメモリが占有されていきます。メモリオーバーになると、変換が非常にゆっくりになり、「つづきはまた明日」となるでしょう。32GB以上あれば、このような気配りや心配はなくなります。
ストレージ
HDD for long-term storage
I use an external HDD for long-term storage of data. When estimating the capacity, please refer to "50GB per sample" and "20 samples/year/1TB". In case of my activity, the data is 10-100 GB per sample, and 1-1.5 TB per year. The data is backed up on another HDD (Mac, TimeMachine).
データの長期保存に外付けHDDを使っています。容量を見積もるときは、「1標本50GB」「20サンプル/1年/1TB」を参考にしてください。実際は、1標本で10〜100GB、年間1〜1.5TBになっています。データは、もう1枚のHDDにバックアップしています（Mac、TimeMachine）。2022.2現在、私のデスクは、iMac 2017を母艦とし、データは8TB-RAID1 (16TB G-RAID)+ 12TB-RAID1 (24TB G-RAID)に保存し、36TB-RAID0 (36TB G-RAID)にTimeMachineバックアップをとっています。
SSD for temporary use
I use an external SSD as a place to temporarily store my CoMBI data and work on image processing. I use the SSD to temporarily store my CoMBI data and to do image processing work. It is because the data can be read and written quickly and I expect that it may protect the SSD of the PC itself.
SSDs have a lifespan, which is linearly increasing with capacity. After 4 years of using an external 512GB SSD for CoMBI, the disk became unreadable. When I asked a person who use SSDs for gaming, they also said that 512GB SSDs would have a lifespan of about 4 years. I keep the original RAW data in multiple locations (SSD and SD card or HDD) until the image processing is finished.
外付けSSDを、CoMBIデータを一時的に保管し、画像処理の作業をする場所として利用しています。理由は、データの読み書きが早いことと、PC本体のSSDを守れるかもという期待があるからです。SSDには寿命があり、容量に比例して長寿命です。外付け512GBSSDをCoMBIで使い続けたところ、4年後にディスクが読めなくなり寿命を迎えました。ゲームのためにSSDを使うという方にきいたところ、はやり4年程度の寿命だと思って512GB SSDを使っているそうです。いつ寿命が来てもいいように、画像処理の作業が終わるまでは、元のRAWデータを複数箇所（SSDとSDカードまたはHDD）に確保しています。
Image data size/画像ファイルのサイズ
We have described the recommended computer specifications and storage in previous sections, and here we will explain in detail citing the specific size of the image file.
これまで、パソコンの推奨スペックやストレージに関して記載してきましたが、ここでは、画像ファイルの具体的なサイズを挙げ、メモリ、GPU、ストレージの必要スペックについて解説します。
Image file format and size/画像形式と一枚のサイズ
The table shows the size of a single color image in various image formats. For CoMBI, I use RAW imaging and JPEG processing. The original data is in RAW to maintain a rich gradation, and the data derived from the various image processing is in JPEG to save storage space. For cameras with full-size sensors, APS-C cropping may be used to save storage space. If 1000 block-face images per a sample are taken with full-size sensor in RAW, the total size will be 42GB/sample.
| Format | Nikon D810 full-size 7360×4912 |
Nikon D810 APS-C 4800×3200 |
Spec |
|---|---|---|---|
| RAW | 42 MB | 26 MB | 12, 16 bit |
| JPEG | 3 MB | 2 MB | 8 bit |
| TIFF | 100 MB | 40 MB | 8, 12, 16 bit |
表は、各種画像形式でのカラー画像一枚のサイズです。ただし、JPEGは圧縮形式なので変動します。CoMBIの撮影では、RAWで撮影、JPEGで画像処理をしています。元データはRAWで豊かな階調数を保ち、さまざまな画像処理によって派生するデータはJPEGとすることで容量を節約します。フルサイズセンサーのカメラでは、APS−Cクロップで容量節約できる場合があります。
Serial images/連続画像
The table shows the total size of continuous color images (RGB 8bit each). According to experience and calculations (see below), the limit of size that a computer can handle without difficulty is about 1000x1000x1000=3GB. A grayscale image takes up one-third the amount of a color image. JPEG images are stored in a compressed format with less space on the disk. However, when ImageJ or other software expands a series of JPEG images into memory, it requires as much memory as the image file size before compression. There is another mode that does not expand to the memory (virtual stack), but the image processing is much slower with virtual stack.
| Image size in Pixels |
Number of images |
Data Amount |
|---|---|---|
| 500x500 | 500 | 0.4 GB |
| 1000x1000 | 500 | 1.5 GB |
| 700x700 | 1000 | 1.5 GB |
| 1000x1000 | 1000 | 3 GB |
| 1200x1200 | 1000 | 4.3 GB |
| 1600x1200 | 1000 | 5.8 GB |
| 1600x1200 | 1500 | 8.6 GB |
| 1500x1500 | 1500 | 10 GB |
Some examples of 8bit color images. 1 pixel = 2^8 ＝ 256gradation, 8bit * 3colors ＝ 24bit ＝ 3byte. 8bit ＝ 1Byte
表は、連続カラー画像（RGB 各8bit）の合計サイズをしめします。パソコンで軽快に扱える限界は、経験的にも、計算上（下記）も、約1000x1000x1000=3GBです。グレースケール画像なら、カラー画像の3分の1の容量になります。画像処理では、一辺数千ピクセルの元画像から、一辺500〜1000ピクセルの切り抜き像や縮小像を生成し、パソコンで扱える容量にします。JPEG画像は、圧縮された形式で、ディスク上では少ない容量で保存されています。しかし、ImageJなどで連続JPEG画像をメモリに展開するとき、圧縮前の容量分だけのメモリを必要とします。メモリに展開しないモード（Virtual stack）もありますが、展開できた方が断然画像処理は速いです。
ImageJ settings; Memory threshold/ ImageJでのメモリ割り当て
In ImageJ/FIJI, go to Edit> Options> Memory & Threads..., and enter the memory size to be used for ImageJ. The recommended value is 70% of the installed memory.
ImageJ/FIJIでは、Edit> Options> Memory & Threads...より、割り当てるメモリサイズを入力します。推奨値は、搭載メモリの70％といわれています。
Memory ocupancy during image processing/ メモリ使用率
The table below shows the PC on-board memory and the memory size available to ImageJ. From this result, I propose minimum 16GB, recommend 32GB. If there is enough memory space, the data before and after image processing can be compared. ImageJ has a virtual stack mode, but some plug-ins may not work in this mode. Also, there is memory swap, and the OS resident part seems to be less. However, in order to handle serial images easily, I would like to have plenty of memory.
| RAM total |
OS etc |
ImageJ | (ImageJ 1/2) | 余剰 |
|---|---|---|---|---|
| 8 GB | 7 GB | 1 GB | (0.5 GB) | 0 |
| 16 GB | 7 GB | 9 GB | (4.5 GB) | 0 |
| 32 GB | 7 GB | 22.4 GB | (11.2 GB) | 2.6 GB |
| 64 GB | 7 GB | 44.8 GB | (22.4 GB) | 12.2 GB |
表は、PC搭載メモリとImageJで使用可能なメモリサイズを計算したものです。MacでOSと常駐アプリを7GB、ImageJへの割当を70%としました。結果、最小構成は16GB、おすすめは32GBです。ImageJで使用できる最大と、半値を示しています。連続画像の倍の容量があれば、画像処理前後のデータを比較できます。ImageJでは、virtual stackモードがありますが、プラグインによっては動作しない場合があるため、注意が必要です。また、メモリスワップもあって、OS常駐部分は少なくてもよさそうです。しかし、連続画像を軽快に扱うためには潤沢なメモリを用意したいものです。
3D slicer recommendation; image size and GPU/ 連続画像サイズとGPU
The image data size limit recommended by 3D slicer is "half the value of the VRAM of the GPU installed". For example, if you have a GPU DDR5 8GB, 4GB is half the limit, which is roughly equivalent to 1200x1200x1000 color images = 4.3GB. In my experience, the limitation was similar with other applications. I also reduce the quality of the displayed image, for performing 3D analysis smoother.
3D slicerが推奨する画像データサイズの限界は、「搭載GPUのVRAMの半値」です。例えば、GPU DDR5 8GBなら、4GBが半値となり、おおかたカラー画像1200x1200x1000枚 = 4.3GBに相当します。経験的にも、別のアプリでも、同様の限界でした。ただし、グレースケールなら容量は3分の1になりますので、グレースケール由来でVolume Renderingを行うときは、大きめの画像や多数の画像をあつかえます。3Dの作業中、表示画質を落とすといった工夫も、必要に応じてやっています。