Зародыши Инквизиции можно найти ещё в первые века христианства — в обязанности диаконов разыскивать и исправлять заблуждения в вере, в судебной власти епископов над еретиками. Суд епископский был прост и не отличался жестокостью; самым сильным наказанием в то время было отлучение от церкви.
Со времени признания христианства государственной религией Римской империи, к церковным наказаниям присоединились и гражданские. В 316 году Константин Великий издал эдикт, присуждавший донатистов к конфискации имущества. Угроза смертною казнью впервые произнесена была Феодосием Великим в 382 году по отношению к манихеям, а в 385 г. приведена была в исполнение над присциллианами.
В капитуляриях Карла Великого встречаются предписания, обязывающие епископов следить за нравами и правильным исповеданием веры в их епархиях, а на саксонских границах — искоренять языческие обычаи. В 844 году Карл Лысый предписал епископам утверждать народ в вере посредством проповедей, расследовать и исправлять его заблуждения («ut populi errata inquirant et corrigant»).
В IX и X вв. епископы достигают высокой степени могущества; в XI век, во время преследования патаренов в Италии, деятельность их отличается большою энергией. Уже в эту эпоху церковь охотнее обращается к насильственным мерам против еретиков, чем к средствам увещания. Наиболее строгими наказаниями еретиков уже в ту пору были конфискация имущества и сожжение на костре. Так Анна Комнина описывает в «Алексиаде» сожжение на костре богомила Василия в 1118 году, говоря про императора, что тот принял решение «новое, необычное по своему характеру, неслыханное по своей смелости».
