ここまでは「画像に何が写っているか」を1つ答える分類の話だった。実用上はもっと細かい情報が要る。

2つの系統

物体検出の手法は、大きく2つに分かれて発展した。

2段階系（R-CNN系）は、まず物体がありそうな候補領域を出し、次にそれぞれを分類する。R-CNNからFast R-CNN、Faster R-CNNへと改良され、精度は高いが処理が重い。

1段階系（YOLO、SSD）は、画像を格子に分割して、各格子について「そこに物体があるか、あるなら何か、枠はどうか」を一度に予測する。YOLO（You Only Look Once）という名前がその思想を表している。精度でやや劣ったが、リアルタイム処理が可能になった。

セグメンテーションではU-Netが代表的である。画像を段階的に縮小して特徴を抽出し、その後段階的に拡大して元の解像度に戻す。このとき、縮小時の各段階の情報を対応する拡大段階に直接渡す（スキップ接続）。細かい位置情報が失われずに済む。医療画像の分野で生まれ、現在では画像生成モデルの内部構造としても広く使われている。