Назва походить від арабського "рафіт" — той, що залишає, відкидає. Рафадіти — це загальна назва всіх "поміркованих" шиїтів. 1 в першу чергу імамітів. Сунітські автори називали ра-фадітами всіх шиїтів, які не визнавали законність правління халіфів Абу Бакра і Омара. На думку сунітських авторів, першими рафадітами були сабо іти — послідовники Абдалаха ібн Саба. Він стверджував, що імамат Алі є "божественним установленням".

В більш вузькому значенні рафадітами називають "поміркованих" шиїтів, прихильників щостого шиїтського імама Джафара Садика. Рафадіти не приєднались до ісмаїлітського руху і відмовились від збройної боротьби за владу. Рафадітами також називають шиїтів Куфи, які не підтримали хусайніта Зейда ібн Алі в його боротьбі за халіфат проти династії омеядів. Таким же чином рафадіти вчинили в 762-му році, відмовившись визнати імамат Мухаммеда ібн Абдалаха, який організував повстання в Медині.