随着供应商和集成商不断的把机器视觉应用推向各个领域，机器视觉这一相对独立的功能如何无缝的融入各行业各类自动化装备遇到了前所未有的挑战。 机器视觉应用主要可分为两类：一类是用于大规模或者高测试要求的生产线上，如包装、印刷、分拣等，或者在野外、核电等不适合人员工作的环境中，利用机器视觉方式代替传统人工测量或检试，同时实现人工条件下无法达到的可靠性、精确度及自动化程度。 另一类应用是必须用到高性能、精密机器视觉组件的专业设备制造，典型代表是最早带动整个机器视觉行业崛起的半导体制造设备。从上游晶圆加工制造的分类切割，到末端电路板印刷、贴片，这类设备都依赖于高精度的视觉测量以对运动部件进行导引与定位。例如，如果锡膏印刷工序存在定位偏差，且该问题直到芯片贴装后的在线测试才被发现，那么返修的成本将会是原成本的100倍以上。
然而，在上述应用中，机器视觉功能很少作为孤立的系统，而是以整个自动化系统或者设备的有机组成部分之一出现，也往往在配合逻辑控制，运动控制，数据采集，通信网络以及企业数据库管理等其它功能时，才能真正发挥出其优势。构建机器视觉系统，除了完成从光源调配到图像处理软件开发系列过程外，更是面临着与上述种种复杂的自动化系统功能集成所带来的挑战。单一的视觉开发软硬件方案，往往使得自动化系统整体的开发周期、成本和不确定性风险都要由制造方或者集成商来承担。机器视觉与自动化系统集成的困难，很大程度上阻碍了其在相对保守的工业自动化领域的应用。 机器视觉应用正由起步时单纯的图像采集、处理分析、结果判断输出，发展成为自动化系统重要组件之一。但是，相对人工检测的方式机器视觉也存在着特殊性，一定程度上体现在其灵活性和应变能力的限制。处理的不合适的话，即使一个看似很小的新功能引入，都有可能导致系统的重新设计。