注册会计师定义的抽样单元应与审计测试目标相适应。抽样单元通常是能够提供控制运行证据的一份文件资料、一项记录或记录中的某一行，每个抽样单元构成了总体中的一个项目。在控制测试中，注册会计师应根据被测试的控制定义抽样单元。例如，如果测试目标是确定付款是否得到授权，且设定的控制要求付款之前授权人在付款单据上签字，抽样单元可能被定义为每一张付款单据。如果一张付款单据包含了对几张发票的付款，且设定的控制要求每张发票分别得到授权，那么付款单据上与发票对应的一行就可能被定义为抽样单元。
对抽样单元的定义过于宽泛可能导致缺乏效率。例如，如果注册会计师将发票作为抽样单元，就必须对发票上的所有项目进行测试。如果注册会计师将发票上的某一行作为抽样单元，则只需对被选取的行所代表的项目进行测试。如果定义抽样单元的两种方法都适合于测试目标，将某一行的项目作为抽样单元可能效率更高。