Gemini335相机规格与常见问题汇总

0. 概要

在咨询相机相关的问题之前,请先阅读下面的常见问题+回复 (Q&A) 。下面的问题基本上覆盖了大部分的咨询场景。

由于我们的课程均以文档形式呈现,需要您有一定的文档阅读能力,对于已经罗列的咨询问题,客服将不予回复。

1. 相机采购类

1.1 相机购买链接

相机购买链接: 奥比中光双目深度相机3d体感摄像头rgbd立体结构光gemini2摄像机

2.2 对这样的客户说不 !

我们不提供手把手的相机使用教学,以自己看文档为主。

如果你属于下面的这几类客户,我们不希望你购买我们的硬件/软件服务!

  1. 如果你没有编程基础,之前没有学过Python,或者Python刚刚入门。
  2. 如果你只想用消费级3D相机的预算,来做工业级3D相机的事。
  3. 如果你是伸手党,以自己项目着急为由,说自己没有时间去研究,用频繁的问问题替代文档阅读,不尊重我们技术支持人员的时间。
  4. 如果你是工厂老板,没有研发能力,工厂也没有相关研发人员,觉得买了就可以解决自己的问题。
  5. 如果你研发能力不足,但是非常固执,按照自己的想法来,不按我们建议的 路线 / 技术栈 / 工具链 去学习相机使用。

我想说:

  1. 你首先要学会 自己学习并解决问题 ,通读我们编写的文档是最快的途径。我们不会替你去做你自己该做的事。

  2. 除相机硬件故障外,我们 不提供远程协助服务 。也不会帮你找自己写的BUG。

    开发环境配置部分,我们文档里已经做了非常详细的讲解。开发环境配半天也配不好,多半是缺乏编程基础,着急也没用,仔细看我们的文档或自行百度。

    出现报错了,我希望你做的第一件事情是拷贝关键报错信息到百度上搜一下。

  3. 我们 不提供行业解决方案 ,当我们说相机xx型号适合什么样的场景时,不代表我们会给你提供对应的解决方案。

    相机只是采集图像/点云,其他的 需要自己开发 ,或者是自己找开源库去适配。

  4. 技术支持范围 仅限于详情页 范围内。详情页以外的资料我们不提供,也不提供答疑。

  5. 请自行入门Python,我们 不负责Python基础问题的答疑 。Python的视频课程在B站上有很多,我们的官网上也有公开的Python科学计算入门课。

    推荐Python版本:Python3.10,Python开发环境配置:

    Python开发环境配置(Windows) - Python科学计算 (deepsenserobot.com)

    我们很多示例代码是基于Jupyter Notebook编写的,你需要学习Notebook使用 :

    Jupyter交互式WebIDE - Python科学计算 (deepsenserobot.com)

    不要用VSCode或者PyCharm去运行测试notebook脚本。

2. 相机规格信息

2.1 Gemini335组件与相机成像原理 ?

Gemini335属于双目红外散点结构光3D相机,配备高性能主被动融合双目成像系统。双目指的是相机有两个红外相机,一个彩色相机。

  • RGB模块 :采集彩图

    RGB彩色成像模组,使用的是卷帘式快门,移动会有运动模糊。

  • 散斑发射模块 (LDM) :在场景中透射红外散斑结构光,从而增加物体表面本身的纹理信息。

    注:红外光人眼不可见

  • 双目模块 :双目模块使用的两个红外相机。

    红外相机模组使用的是全局快门类型,对物体移动或者相机移动拍摄场景有很好的表现。

  • 激光测距模块 (LRM) :用于补充相机近距离的深度盲区

    测距范围 0.001m - 0.4m

相机底层固件不开源,你可以单独采集左右两个相机的红外图像,但是我们一般不这么用。

如果是研究三维成像的客户,建议自己搭建双目+结构光的硬件。

2.2 相机基础参数

同时获取彩图与深度图的最大分辨率为:

参数名称 彩图 (RGB相机) 深度图 (红外相机)
分辨率 1280 * 720 1280 * 800
宽高比 16:9 16:10
帧率 (USB 3.0) 30fps 30fps
视场角FOV H86° / V55° / D94°±3° H90° / V65° / D100°±3°
工作距离 0.39m-正无穷 0.26-10m
推荐工作距离 / 0.26-3m

注:

  1. 深度图对齐后 (D2C) 的 FOV 与 RGB 相机的 FOV 一致:H86° / V55° / D94°±3°
  2. 彩色相机景深范围是 0.39m-正无穷 ,因此拍摄距离小于 0.39m 的位置,采集的彩图是有一点点模糊的。

视场角参数说明:

  • H :HFOV 水平视场角
  • V :VFOV 纵向视场角
  • D :DFOV 对角线视场角

2.3 相机精度

奥比中光Gemini335系列的相机是专门针对机器人场景开发的。

相机点云精度是一个涉及多方面的问题:

  1. 相机拍摄距离

    奥比中光手册里标称的Gemini335相机在2m拍摄距离时,绝对定位精度为±2%。

    绝对定位精度: 2000mm * 2% = 40mm
    

    实际上我们在机械臂视觉抓取场景中Gemini335拍摄距离一般在26cm - 50cm左右,此时的绝对定位精度在 ±1-3mm 左右。

    拍摄距离越远,误差越大,点云波动范围越大,点云缺失也越大。

  2. 环境光照强度

    当环境光充足的条件下,画面中物体本身的纹理信息可以更好的被检测到,从而可以增强深度图质量。当环境光较暗的情况下,可以增加额外的补光灯。

  3. 物体表面反射率

    如果是金属反光表面或者半透明物体表面,相机可以拍,但是在这个情况下,点云噪声或者说波动范围要比常规物体表面要大一些。

如果你是用在科研领域,做机械臂视觉抓取实验,对点云精度要求没那么高的场景,1-3mm左右的点云波动/误差是可以接受的。 那么Gemini335这款产品就是适合你的。

如果你的项目是工业场景应用,且对精度要求非常高的场景,建议选择我们销售的工业3D相机产品,例如 跨维的Xema系列 。场景举例:

  • 工件非常小的情况
  • 高精度的尺寸测量
  • 高精度的工件装配场景
  • 焊接等恶劣工况,有电磁干扰场景

如果你拿不准,可以咨询客服。我们可以帮你做评估,你也可以给我们邮寄样品,我们帮您用相机拍摄样例点云。

小提示:很多3D相机厂家的参数都会虚标,所以直接看拍摄的点云数据是更加直接的方式。

2.4 可以拍什么样的物体表面 ?

Gemini335除了可以用于拍摄一般物体以外,还可以用于行业普遍的难点,包括:金属反光表面 / 纯黑物体 / 半透明物体。同时还可以用于拍摄相对较小的物体。

2.5 对光照环境的要求? 能否用于户外 ?

Gemini335系列支持在 室内 / 户外 / 夜晚 / 白昼 等多种光照条件下使用,提供准确可靠的数据。

  • Gemini335L 无惧强光,可以用在户外阳光直射的场景。
  • Gemni335 只能用于室内与半户外场景。如需用在户外强光环境,则需要遮光处理。

2.6 相机工作距离与幅面计算

相机工作距离,指的是被拍摄物体距离相机坐标系 Z 轴上的距离。在不同的深度图分辨率下,最近拍摄距离是不同的。

1280 x 800 深度图分辨率下

  • 实际工作距离:0.26m - 10m

  • 推荐工作距离: 0.26m - 1 m

定义变量:

  • :工作距离,单位mm
  • :横向视场角 (HFOV) ,单位°
  • :纵向视场角 (VFOV) ,单位°
  • :视场幅面的宽度,单位mm
  • :视场幅面的高度,单位mm

根据FOV以及工作距离,来计算相机幅面的公式:

常见的拍摄距离与RGB相机视场幅面的映射关系:

工作距离 (单位mm) 视场 (单位mm)
260 335 x 233
300 386 x 268
400 515 x 358
500 644 x 447
1000 1288 x 895
1500 1931 x 1342
2000 2575 x 1790
3000 3863 x 2685

计算视场的Python脚本

import math

HFOV = 86.0 # RGB相机横向视场角(单位°)
VFOV = 55.0 # RGB相机纵向视场角( 单位°)

def get_view_field(z_distance):
    w = 2*z_distance*math.atan(math.radians(HFOV/2))
	h = 2*z_distance*math.atan(math.radians(VFOV/2))
	return w, h
# 拍摄距离为150mm的时候的幅面
get_view_field(150.0)

2.7 外观尺寸与重量 / STEP模型

相机型号 重量 宽度 (mm) 高度 (mm) 深度 (mm)
Gemini335 95g 90 25 30
Gemini335 L 133g 124 29 27

主视图尺寸标注:

背视图尺寸标注:

Gemini335的背孔固定孔位与Gemini2以及Realsense的D415/D435都是一致的。孔位是M3,孔距是45mm。

购买相机后,我们可以提供Gemini335相机简化版本的STEP模型以及URDF模型。

2.8 硬件接口 / 驱动 / 供电 / 功耗

TypeC口,使用USB通信,免驱无需安装驱动。

端口要求:>=USB3.0,5V供电,最大电流>=1.5A

注:需要注意的是,电脑的USB3.0接口的最大电流为0.9A,USB3.1接口的最大电流是2A。因此如果你的是USB3.0端口,则需要配备5V独立供电相关设备,这样相机连接与图像获取才会稳定。

这部分的详细信息请见本章节的 USB基础知识与注意事项

相机功耗与 激光功率等级 / 分辨率 / IMU 都有关系,平均功耗在2.0-3.0W之间。

2.9 相机防护等级 防尘 / 防水 ?

  • Gemini335:IP5X防尘等级,不防水。

    前提条件:需插入 USB Type-C 线材,并拧紧螺丝,且不使用多机同步 8-pin 接口

  • Gemini335L:IP65防护等级。

    前提条件:不使用多机同步 8-Pin 接口

关于防护等级的说明:

IP5X防尘等级

  • 防止外部物体进入相机
  • 不能完全防止灰尘进入相机内部,但进入灰尘后不影响正常使用

IP65防护等级

  • 防止短时间持续的冲水

    只是短时间哦,不可以在水下用。

  • 完全防止灰尘进入相机内部。

2.10 多机信号同步问题

Gemini335支持多机信号同步,相机一侧有专门的排查接口,多机硬件同步需要借助额外的信号同步器,需要单独购买。

详情见 第9章.附录/Gemini2多机数据同步

2.11 供应商识别码 (VID) 和设备识别码 (PID)

Gemini335系列支持标准的UVC协议,因此不需要安装额外的驱动。

如果你是Linux下使用,需要配置奥比中光相的 USB设备权限

3D相机型号 供应商识别码 (VID) 设备识别码 (PID)
Gemini 335 0x2BC5 0x0800
Gemini 335L 0x2BC5 0x0804

3. 相机型号对比与选择问题

3.1 Gemini335 与 Gemini335L 我选哪个 ?

Gemini335与Gemini335L 在滤波片还有工作距离上是有区别的。

  • Gemini335 :滤波片全通。主要面相于室内与半户外场景,主要用于近距离拍摄,例如机械臂视觉抓取/面部三维重建等。
  • Gemini335L :滤波片通过可见光+近红外光。面向户外+大型机器人应用场景,主要侧重远距离拍摄,例如:AMR、巡检机器人、无人机的SLAM导航等等。

注:在最新的奥比体系里,好像把Gemini335L的红外滤波片拿走了。Gemini335+红外滤波片变成Gemini336,Gemini335L+红外滤波片变成Gemini336L。

3.2 Gemini335 与 Gemini2 之间的主要区别 ?

Gemini2已经不推荐使用了,因为Gemini335效果更好。

Gemini335与Gemini2外观上是完全一样的。

Gemini2系列存在的问题

  • Gemini2不支持主被动融合双目成像
  • Gemini2不能用于拍摄金属/塑料反光问题
  • Gemini2不能用于拍摄半透明物体
  • Gemini2小物体拍摄,点云缺失
  • Gemini2的USB3.0的电路存在问题 (推测) ,导致经常存在明明用的是USB3.0的线,识别出来是USB2.0。相机连接与图像获取没有Gemini335稳定。
  • Gemini2L没有滤波片,不能用于户外强光场景。Gemini335L可以

那Gemini335软件层面上与Gemini2有什么区别呢?

  • 首先Gemini335与Gemini2的软件不完全兼容,我们已经完成了Gemini335的pyorbbecsdk案例的适配以及我们自研的阿凯机器人工具箱的适配。
  • Gemini335不支持硬件对齐 (HW D2C),Gemini2支持
  • Gemini335不支持彩图与深度图同步,Gemini2和Gemini335L支持彩图与深度图的同步。
  • 他们支持的深度引擎类型与名称都不一样。

3.3 Gemini335跟Astra系列之间的主要区别 ?

Astra系列奥比中光已经停产了,是奥比第一代3D相机。如果你是用在教育级/玩具级的SLAM小车上,或预算有限只够采购Astra Pro Plus的情况,或许还可以考虑选低成本的Astra Pro Plus(这是我们店铺目前还在销售的唯一一款Astra系列相机)。

Astra分辨率低,深度图成像效果不好,体积大,点云绝对定位精度差。

预算充足的情况下,建议选择 Gemini335 / Gemini335L 。

4. 软件与技术支持

4.1 相机的软件生态 ?

相机有自己的上位机软件OrbbecViewer。

相机支持多种开发语言,主要有C++ / Python / ROS1 / ROS2 。

具体可以看本章节的 Gemini335官方软件生态与独家教程获取方法。

4.2 我可以学会3D相机使用么?

这个看个人,你首先需要掌握python编程语言。有一定的工程开发能力,有文档阅读能力。

我们做的工作是尽可能的降低3D相机二次开发的门槛,编写了易用的SDK以及丰富的入门案例。

我们不对用户的学习效果做任何保证,也不会回答例如 " 我可以多久入门 ? " 这种问题。

注意事项

  1. 阿凯目前只提供自研Python Open3D SDK以及奥比中光官方Python SDK (pyorbbecsdk) 的相关技术支持。
  2. 奥比中光的其他语言版本需要自己对照官方文档学习,由奥比中光官方提供技术支持。

4.3 相机有xxx的功能么?

相机SDK只负责采集图像/点云,以及相机参数配置。不涉及特定行业的解决方案,这部分你需要自己二次开发/找专门的集成商去做定制,不在我们的技术支持范围内。

4.4 我还需要去做相机标定么?

相机固件内置相机内参与畸变系数,相机出厂会做专业的相机标定。通过pyorbbecsdk可以直接读取相机内参与畸变系数。所以不需要也不建议自己去做相机标定。

4.5 相机手眼标定的标定板选哪种?

对于Gemini335相机+机械臂的这个应用场景,涉及手眼标定。推荐使用我们店铺在销售的ArucoTag标定板去做手眼标定。

原因是RGB相机在近距离拍摄(小于40cm拍摄距离)时, 彩图都是稍微有一点点糊的。所以不适合使用特别多细节的标定板,我们开发了ArucoTag+点云的姿态矫正算法,可以解决ArucoTag纯2D视觉下Z轴朝向与坐标的波动问题。

标定板采购链接: 工业棋盘格相机标定板光学机器视觉计算机氧化铝玻璃片手眼Aruco

如果需要其他类型的标定板, 我们也支持定制。

4.6 其他可能会用到的配件产品

下面的配件均可以在我们淘宝店铺 阿凯爱玩机器人 进行购买。