Die moderne Wissenschaft nahm die seit dem Altertum bekannte Hypnose um 1770 als ein von magisch-religiösem Hintergrund gelöstes Phänomen wahr. Franz Anton Mesmer experimentierte mit Magneten, die er Patienten auflegte. Er nannte den Effekt Magnetismus animalis, schrieb jedoch die Wirkungskräfte den Magneten zu. Aufgrund von Mesmers Popularität nannte man den Vorgang des Hypnotisierens lange Zeit auch „Mesmerisieren“; ein Ausdruck, der im zeitgenössischen Englisch noch existiert (to mesmerize‚ hypnotisieren‘). Alfres Russel Wallace meinte mit Hilfe des Mesmerisierens die Gallsche Schädelkarte nachweisen zu können. Friedrich Engels kritisierte in einem zu Lebzeiten unveröffentlichten Text den Mesmerismus (in seiner Spätphase oft synonym mit „Somnambulismus“) und Wallace Theorien als Irrglauben und Selbsttäuschung. Nach eigener Darstellung habe Engels einen zwölfjährigen Jungen ohne Magnete durch „gelindes Anstieren oder Bestreichen“ in einen hypnotischen Zustand versetzt, um dann den Jungen die Wirkung selbsterfundener gallscher Schädelbereiche nacherleben zu lassen. Er kommt zum Schluss, dass sich immer erst Effekte einstellten, wenn dem „Patienten zu verstehen gegeben [wurde], was von ihm erwartet wurde.“ Der Glaube des Hypnotiseurs an die Schädelkarte ließ unbewusst die gewünschten Effekte beim Hypnotisierten eintreten, wie auch den Magneten Wirkkräfte zugeschrieben wurden, welche durch andere Ursachen entstanden
Um die Mitte des 19. Jahrhunderts fand eine begriffliche und konzeptionelle Wandlung vom „animalischen Magnetismus“ zum „Hpnotismus“ statt.
Geräte wie das Hypnoskop entstanden. Das Hypnoskop (grieschich) ist ein von Gustav Wilhelm Geßmann Ende des 19. Jahrhunderst konstruierter Apparat, mit dessen Hilfe man herauszufinden meinte, ob eine Versuchsperson sich leicht hypnotisieren lassen könne oder nicht. Eine Wirksamkeit dieses Verfahrens ist nicht nachgewiesen.
In Großbritannien standen relativ viele Menschen dem Prozess des „Mesmerisierens“ kritisch gegenüber. Trotzdem besuchte der englische Augenchirurg James Braid einen Auftritt des Magnetiseurs LaFontaine, des Enkels des Fabeldichters, und stellte fest, dass das Flattern der Augenlieder nicht willentlich ausgelöst werden konnte. Er experimentierte daraufhin mit Versuchspersonen, die er bat, glänzende Gegenstände zu fixieren, um sie damit in einen Trance-Zustand zu geleiten.
Im Laufe der Zeit verwarf er die Ideen des Magnetischen Animalismus und stellte die Theorie von hirnphysiologischen Veränderungen, die während einer Trance stattfinden sollten, auf. Braid führte zahlreiche Augenoperationen unter Hypnose durch und eröffnete damit die Debatte um weitere Anwendungs- und Behandlungsmöglichkeiten.
Im 19. Jahrhundert war Frankreich mit den Schulen in Nancy (Ambroise-Auguste Liébeault, Hippolyte Bernheim) und Paris (Jean-Martin Charcot) führend in der Erforschung der Hypnose. Sigmund Freud wurde 1885 bei Jean-Martin Charcot in Paris auf die Experimente von Mesmer aufmerksam und versuchte selbst diese Methode, um Patienten zu behandeln. Dies wurde zum Ausgangspunkt seiner Studien über Hysterie. Später ließ er diese Methode jedoch wieder fallen und widmete sich seiner Technik der freien Assoziation.
In den 1930er Jahren traten unter anderem Ferenc Völgyesi und Erik Jan Hanussen als Hypnotiseure auf.
Wesentlich weiterentwickelt wurde die Hypnose im 20. Jahrhundert im deutschen Sprachgebiet zunächst durch Oscar Vogt (1870–1959), dann durch dessen Schüler Johannes Heinrich Schultz (1884–1970), der daraus das autogene Training entwickelte, und später durch Klaus Thomas.
Im amerikanischen Sprachgebiet wurde die Hypnose wesentlich weiterentwickelt durch Milton H. Erickson (indirekte Hypnose), Kroger und Dave Elman (autoritäre Hypnose).
In England gilt John Hartland als einer der bekanntesten Hypnotiseure. Sein Buch Dictionary of Medical and Dental Hypnosis zählt zum offiziellen Ausbildungslehrwerk für britische Hypnoseärzte.
Erickson begründete eine neue Form der Hypnotherapie, die heute als die modernste Form gilt und aus der sich weitere psychologische Methoden, wie z. B. das Neuro-Linguistische Programmieren NLP, entwickelten.