Skip to content

Applications/アプリケーション

Minimum set of applications required

To start CoMBI with minimum set of applications, install 3 free apps below. Details will be described following paragraphs.

最小構成でCoMBIをはじめる場合、下記の無料アプリ３つ（Darktable, ImageJ, 3D slicer）をインストールしてください。Excelはすでにあるものと期待しています。2022年7月現在、Win, Mac共に、ImageJは、最新の1.53sを使ってください。FIJI/ImageJはテキストファイルの扱いにバグがあるのか、CoMBI用Macroが働かない場合があります。それぞれの画像処理や別のアプリの説明はつづく下の章に書きました。

Darktable for RAW-JPEG conversion

ImageJ for resizing and stabilizing

  • Mac Apple Silicon; ImageJ v1.** https://imagej.nih.gov. Download Mac with ARM version and install into Application folder. Make an icon on the dock and right click (double finger click by trackpad) to open for the first time. Update to latest version after download/installation (1.53s, 2022.7).
  • Mac intel; ImageJ v1.** https://imagej.nih.gov. Download Mac with Intel version and install into Application folder. Make an icon on the dock and right click (double finger click by trackpad) to open for the first time. Update to latest version after download/installation (1.53s, 2022.7).
  • Windows; ImageJ v1.** https://imagej.nih.gov. Download and NOT install into "Program Files" folder, instead install it into directories within "Users". Please, follow instruction on the official site. Just after download, the app may not the latest, thus go to Help>Update ImageJ... to make the app latest (1.53s, 2022.7).
  • Linux; (Sorry, I do not have linux system.)

After installation of ImageJ, update and initial setup of memory size to be used and JPEG compression rate are recommended. Downloaded installer may contains older version, thus update ImageJ to latest version by Help> Update. For setting up memory, go Edit> Options> Memory & Threads...> Maximum Memory, and input size as 70-75% of total RAM. For setting up JEPG compression, go Edit> Options> Input/Output...> JPEG quality (0-100). Input 100. Then, restart ImageJ.

  • Many researchers may use FIJI/ImageJ https://imagej.net. However FIJI version cannot run macros for CoMBI fully. When opening the Image_Stabilizer_Log files, FIJI for mac cannot open the log files directly, but it can open through copy/paste into system clipboard. FIJI for windows cannot open the log files directly, nor cannot copy/paste to clipboard (Thank you, HS! 2022.7).

3D slicer for 3D reconstruction

MS Excel for image registration

  • Win, Mac

Things to do/やること

All the processes can be carried out with free apps. Try the free app for starters. Paid apps may be better in terms of convenience and stability. The stability of image processing is affected not only by the application, but of course by the specs of your PC. For 3D reconstruction, there are five processes (below), and these require more PC power in their order.

  1. Processing serial images/連続画像を処理する

    1. RAW-JPEG conversion/RAW-JPEG変換
    2. Resize, crop, and convert to grayscale/縮小、クロップ、グレースケール変換
    3. Image registration/ズレ補正

  2. 3D reconstruction/3D再構築

    1. Database/データリストの管理
    2. Viewing serial images/連続画像の閲覧
    3. Orthogonal planes, multiple planer reconstruction/多平面再構築
    4. Volume rendering/ボリュームレンダリング
    5. Segmentation/セグメンテーション

  3. Movie edit (optional)/動画編集（必要に応じて）

すべてのプロセスは、無料のアプリで行えます。まずは無料アプリでやってみるのがいいでしょう。有料アプリは、利便性や安定性の面でよい場合があります。画像処理の安定性は、アプリだけでなく、もちろんPCのスペックも影響します。上記の3D再構築の5項目は、順にPCの能力を必要とします。

1. Applications for processing serial images/連続画像を処理するアプリ

Processing serial images in batches. ImageJ (free) can do this, but Adobe CC (paid) is more convenient. Adobe CC for educational use costs 32340 yen/year (as of 2021). Some universities may have a contract with AdobeCC. The conditions of use are that up to two computers can be used at the same time, and that installation on more than 2 computers is possible, but only 2 computers can be used at the same time.

連続画像を一括処理します。ImageJ（無料）でできます。縮小 resize やズレ補正 registration をマクロをつかって自動処理できます。 Adobe CC（有料）でも、あれば便利です、日本語ですし。便利さを感じる場面は、連続画像の自動処理と、3Dイメージング・セグメンテーションの色域選択です。AdobeCC教育機関向けは、32340円/年（2021年現在）です。大学が契約している場合もあると思います。利用条件は、「２台まで同時使用できること、台数を超えたインストールもできるが同時使用は2台までであること」です。

2. 3D reconstruction/3D再構築するアプリ

Currently 2021, My recommentadion is 3D slicer (Win, Mac, Linux). I'm practicing Icy (Mac, Win, Linux) since 2021. I have been using OsiriX/Horos (Mac only) since 2009 for both education and research, however, OsiriX is currently commercial-ware and Horos is not stable during segmentation process.

There are many applications for 3D imaging. However, some of them are dedicated to DICOM format for medical use, some of them are expensive, and some of them are not friendly to researchers with little experience. I selected applications based on the following points: 1. free, 2. JPEG images are supported, and 3. continuously updated. You may find free demo versions. These has some limitations on the number of serial images, and 3D reconstruction function. As this is a service for evaluation, it is natural that it cannot be used in a fully functional manner.

2021年、Macなら3D slicer、Horos、WindowsやLinuxなら3D sclicerがおすすめです。どれも無料で使えます。Icyもよさそうです（最近2021年に気づいて練習中。Mac, Win, Linuxに対応）。私は複数のアプリを使っていますが、CoMBIはどれかひとつでできます。私は、最近（2021年以降）は、研究用には3D slicerを使うことが多いです。私が使っていたのは、OsiriX（Mac, 2009年、無料の頃から教育用に使っていたため）+ Horos（Mac, サブマシンに、教育用に）+ 3D slicer（Mac, セグメンテーション用）です。OsiriXのような医療用DICOM Viewer使っていたのは、医学部における教育業務「画像解剖学」のためというのが理由です。OsiriXはかつて無料で、現在は有料になりました。医療用CTアプリとしては安いほうですが（2022年、18万円、買取など）、有料となるとCoMBI用には導入しにくくなっています。

3D imagingのアプリは数多くあります。しかし、医療用のDICOM形式専用だとか、高価だったり、端くれ研究者にはやさしくありません。アプリの選定では、1.無料であること、2.JPEG画像が扱えること、3.改良が続いていること、を基準としました。本来は有料だけどデモ版は無料というアプリがたくさんあります。たいてい、扱える連続画像枚数に上限がある、3D再構築はできない、といった制限があります。評価するためのサービスですので、本格的には使えなくて当然でしょう。

Comparison of some applications/主なアプリの比較

3D slicer Icy Horos OsiriX ZEN lite Paraview
OS Win, Mac, Linux Win, Mac, Linux Mac Mac Win Win, Mac, Linux
Price Free Free Free ¥180,000 etc Free Free
JPEG OK multiTIFF via Plug-in JPEG to DICOM via Plug-in JPEG to DICOM OK, Import as Z-stack OK
Start 1998 2011 2013 2004 Zeiss 2000

私が3D用アプリでやっていること

All topics are possible with any app. This is a subjective summary of perceived convenience and stability. There are workarounds for instability, and are described in the tips section of usage page.

すべての項目は、どのアプリでも可能ではあります。感じた利便性、安定性を主観的にまとめたものです。不安定でも回避策があります。不安定さに関しては、それぞれの使い方ページのTipsに記載しています。

3D slicer   Horos   　OsiriX   Icy
Installation/インストール先 iMac, MacBookPro MacBookPro, iMac iMac iMac
Database/データを一括管理 ○ ◎ ◎ 練習中
View serial images/連続画像閲覧 ○ ○
✕ v4.0.0RC5 起動しない		 ○ ○
Multiple Planer Reconstruction/多平面再構築 ◎ カラーデータのとき、安定しているし、VRによる像と重ねやすい。 ○ ○ 練習中
Volume Rendering /ボリュームレンダリング ◎ ◎ ◎ 練習中
Movie export from MPR /MPRから動画作成 ○ 研究データとしては十分ですが、Horos/OsiriXほどの滑らかさ、美しさを作りにくい。 △ v3.3.6 一辺500pixelと小さい動画になるバグ
△ v4.0.0RC4 一辺700pixelと小さい動画になるバグ
 ○ 問題なし 練習中
Movie export from VR /VRから動画作成 ○ 研究データとしては十分ですが、Horos/OsiriXほどの滑らかさ、美しさを作りにくい。 ○ v3.3.6 とてもきれい
✕ v4.0.0RC4 座標がずれて不可		 ○　とてもきれい 練習中
Segmentation作業 ◎ 簡便、ApplePenでスイスイ ○ ○ 練習中
Quantification from Segmentation /数値解析 ◎ ○ 不安定 ○ 練習中
First impression 難しそうだけど、作業はどこまでも安定。 簡単そうで、実際、操作は簡単！作業が込み入ってくると不安定さが露見する 安定している。Horosで生じる不安定さはない 練習中

3D slicer (Win, Mac, Linux)

When you see it for the first time, it looks hard to use, but you will adapt soon. The application is very stable. It was stable even on a basic Windows laptop (Core i5, 8GB RAM, Iris). I use it for segmentation with my favorite working environment; 3D slicer on MacBookPro + iPadPro(sidecar) + ApplePen. 3D slicer has been developed by Brigham and Women's Hospital and the MIT Artificial Intelligence Laboratory.

初めて見たときにとっつきにくい印象ですが、すぐ慣れます。動作は安定しています。ごく一般的なWinノートパソコン（Core i5, RAM 8GB, Iris）でも安定していました。私は、セグメンテーションで利用しています。お気に入り作業環境は、3D slicer + MacBookPro + iPadPro(sidecar) + ApplePenです。開発しているのは、米国Brigham and Women's Hospital and the MIT Artificial Intelligence Laboratoryです。

https://www.slicer.org

Icy (Win, Mac, Linux)

Icy is free and open source, started in 2011 with the BioImage Analysis Lab at Institut Pasteur and licensed under GPLv3. Supported file format is multiTIFF. JPEG series should be converted to multiTIFF using ImageJ to opne them in Icy.

バイオイメージングのために開発されました。良さそうなので練習中です。対応する画像形式は、multiTIFFなので、CoMBIの連続画像は、前もってImageJでmultiTIFFに保存してから、Icyで利用します。

http://icy.bioimageanalysis.org

Napari (Win, Mac, Linux)

Multi-dimensional image viewer for python. I installed it but do not use yet.

https://napari.org

eMma (iOS)

Free DICOM viewer for iPad, download from App Store. eMma can display DICOM, grayscale images, serial images, and reconstruct orthogonal planes. For viewing CoMBI data, JPEG serial images should be converted to DICOM using 3D slicer. (Not OsiriX/Horos). In the 3D slicer, import JPEG(drag and drop), Modue Volume input XYZ size, and Data> Right click> Export DICOM. To transfer data to eMma, computer is required.

iPadで、DICOMの閲覧と平面再構築ができます。無料。だれでもDICOM画像を閲覧できるようにとのコンセプト。東京大学脳外科、Kompas社。DICOM形式のみ対応する。研究データ（JPEGやTIFF）の場合、3D slicerでDICOM形式に書き出してから利用します。グレースケールのみ対応します。データをeMmaに移すには、パソコンが必要です。医療機器由来のDICOMには、たまに設定ファイルが紛れていて、読み込み時にエラーがでます。連続DICOM画像が収まるフォルダ内から設定ファイルを削除すると読み込めます。

Horos (Mac)

Horos is easy to start using. Basic operations such as data listing, brightness and contrast adjustment (window level and window width in DICOM) are easy. However, for research use such as quantification and segmentation, it becomes unstable. Horos is based on OsiriX version 3.5 when it was open source, so it looks almost identical to OsiriX.

使い始めは簡単です。データ一覧、明るさコントラスト調整（DICOMでいう、ウィンドウレベル、ウィンドウ幅）といった基本操作が簡単です。研究向けのデータ、数値やセグメンテーションなどのために、いじり進めると不安定さを感じます。また、Mac版しかないので、利用者が限定されます。Horosは、オープンソースだった頃のOsiriX version 3.5をもとに作られているため、見た目はOsiriXとほぼ同じです。

https://horosproject.org

Zen lite (Win)

Windows version only. This application is included with Zeiss confocal microscopes, so it may be suitable for researchers who are familiar with the microscope. To install it on your own PC, you need to apply to Zeiss to download. Other CoMBI users kindly told me about this application. I installed it but haven't touched yet.

Window版のみ。ツァイツのコンフォーカル顕微鏡に付属するアプリなので、使い慣れた研究者にはいいでしょう。各自のPCにインストールするためには、Zeissに申請し、ダウンロード・インストールします。私自身は、インストールをして、その後いじっていませんが、他のCoMBIユーザが利用されています。

Paraview (Win, Mac, Linux)

It is often used in engineering and is free. However, I have one concern: it often crashes on a basic Windows laptop (Core i5, 8GB RAM, Iris. This has too low capacity for 3D imaging...). The ParaView project started in 2000 by Kitware Inc. and Los Alamos National Laboratory.

工学系でよく利用されていて、無料です。しかし、一点だけ気がかりがあって、ごく一般的なWinノートパソコン（Core i5, RAM 8GB, Iris）では、落ちることがしばしばです。ただし、3D用としてはかなり低スペックなPCで、無茶な検証であること申し添えておきます。2000年からLos Alamos National Laboratoryが開発しています。

https://www.paraview.org

ImageJ/FIJI (Win, Mac, Linux)

It can be used for orthogonal planes reconstruction and volume rendering. Plug-ins> Volume Viewer. The difficulty is that the CLUT is handwritten. I have not learned enough about how to save and reproduce. Segmentation is not possible in this plug-in, instead, use another plug-in (Plug-ins> Segmentation>).

MPRとVolume Renderingができます。Plug-ins> Volume Viewerです。使いにくいところは、CLUTが手書きなのところです。それをどうやって保存するか（再現性の確保）について、勉強不足です。このプラグイン内ではSegmentationはできないので、別のプラグイン（Plug-ins> Segmentation> に多種）を使うようです。

ilastik (Win, Mac, Linux)

An app that uses machine learning for segmentation; it seems to be able to handle 3D datasets, but doesn't have a built-in 3D Viewer (Nature Methods, 2019).

セグメンテーションを機械学習で行うアプリ（Nature Methods, 2019）。3Dデータセットを扱えるようだ。「built-in 3D Viewerはない」との情報をどこかで読んだ。たぶん、Volume Renderingのことだろう。3Dデータを読み込んで、直交面再構築なら表示できる。ただいま練習中。セグメンテーションがかなりうまくいきそう。CPUのコア数が必要、4コア8スレッドでは処理待ちが長い。

https://www.ilastik.org/

MIB (Win, Mac, Linux)

An application that can handle 3D data sets and performs segmentation（PLoS Biology, 2016）.

3Dデータセットを扱えて、セグメンテーションを行うアプリ

http://mib.helsinki.fi/

StradView (Win, Linux)

DICOM viewer.

DICOM viewer, TIFFでもいけるらしい。Windows環境が身近になく、試せていません。

https://mi.eng.cam.ac.uk/Main/StradView/

OsiriX (Mac)

When it was initially developed at UCLA in 2004, it was an open source project and free. Later it became a paid app, but it is still one of the cheaper apps for medical use. There are few bugs like those found in Horos, probably due to the change to a paid version.

2004年UCLAでの開発当初では、オープンソースプロジェクトで無料でした。その後、有料になりました。医療向けをうたったアプリとしては格安です。有料のおかげか、Horosでみられるようなバグはほとんどありません。2022年から18万円（買取＋2年間のアップデート権）になった、以前の8.3万円から値上がりした。

Amira

This is a paid app that has been used often in research papers. I don't have it myself, but only looked at other CoMBI users using it.

以前から論文でよく使われている有料アプリです。私自身は持っていません。見物したことがある程度です。

Dragonfly

A paid app for bio-imagign. 有料アプリ、バイオイメージング

Imaris

A paid app for bio-imagign. 有料アプリ、バイオイメージング

CTvox（iOS, Android, Win, Burker）

CTvox can open files in a dedicated VXM format, which is generated by CTvox for Windows. I haven't tried, because official download site for CTvox for Windows are unknown, and I'm a Mac user.

CTvoxで開けるファイルは、専用のVXM形式のファイルです。VXMはCTvox for Windowsで生成しますが、このアプリの公式ダウンロード先が不明で、私はMacユーザなので、試せていません。

3. Movie edit (optional)/動画編集（必要に応じて）

Adobe Premiere

A paid app for movie editing. 有料アプリ、動画編集

Davinci Resolve

A freeware for movie editing. 無料アプリ、動画編集

https://www.blackmagicdesign.com

Glossary/用語解説

Multiple Planer Reconstruction, MPR, 多平面再構築

自由な面で内部を観察できます。距離の数値データ比較もできます。例えば、多数個体間で、主気管支の形態比較に使いました。orthoplanes, orthogonal planesともいいます。

Volume Rendering, VR, ボリュームレンダリング

典型的な3D画像に、感動します。しかし、見た目よし、一品勝負のデータにはなります。ただし、カラー画像からは不可、距離数値をだせますが、あやふや、体積数値を出せない、といった制限があります。

最終的に論文データとしては、下記のセグメンテーションをやったほうが良いことが多いでしょう。世間にあふれるボリュームレンダリングした画像では、キレイにできそうな印象をもちますが、実際やってみるとあまりうまくいきません。グレー画像でしかできないので、特定の構造物のみを描出することが難しいのです。

Segmentation/セグメンテーション

研究では、試料中の特定の構造物・領域（関心領域）に、色塗りをします（セグメンテーション）。色塗りできた関心領域から、体積の数値データを利用できます。

CoMBIのカラー連続画像は、CTのグレー画像とくらべると、構造物をヒトの目で認識しやすいです。しかし、いざアプリでセグメンテーションしようとなると、全自動では難しいことが多く、手描き作業がはいってきます。世間には自動化の試みがあって、デモ動画では美しく仕上がっているのをみますが、たいていヒトCT、電顕画像、培養細胞の蛍光像を用いています。CoMBIのフルカラー連続画像での全自動セグメンテーションができればいいのですが、まだ本格的にはチャレンジしていません。

セグメンテーションには、パソコンパワーが必要です。カラー画像ならなおさらです。パソコン環境をととのえて、セグメンテーション作業を安定して扱えるようにしたいものです。

Movie/動画

プレゼンにはインパクトが大きいです。論文にも載せられますが、投稿時データ量の制限があったりして、気遣いが必要になります。うまくいけば、見た目のよいデータとして論文のSupplimentaryに採用しています。