公元8世纪左右,大批犹太人沿着丝绸之路来到中国,然后通过海路到达中国沿海地区。虽然有少数学者认为犹太人是在汉代和周朝来到中国的,但没有相关证据证明他们是在这个时候来到中国的。犹太人进入中国后,散居在中国各地,直到宋代,开封犹太人才形成一个社
会群体。
北宋时期,一些犹太人来到中国首都东京,受到宋朝当局的接待。宋朝允许他们定居、迁徙、就业、求学、通婚、经商。他们也可以保持自己的文化信仰和习惯。此后犹太人在中国定居,开封离洛阳不远,于是一些犹太人来到洛阳居住。
在这样一个稳定而宽松的社会环境中,犹太人表现出了他们与生俱来的商业意识,开始成为一个富裕阶层,参加科举考试。与此同时,他们的宗教活动日益活跃。1163年,犹太人在开封建立了第一座犹太教堂。在与汉族融合的过程中,犹太人开始学习带有中国姓氏的中国儒学。与其他民族通婚后,开始穿汉族服饰,按汉族礼仪待人,传统文化趋于淡化。
1642年,黄河决堤,犹太教堂被毁,许多经书丢失。1663年,犹太教堂重建,只找回了部分经文。犹太人团聚后,人口锐减至不足2000人。17世纪以后,河南的犹太人基本上与外面的犹太人失去了联系。到了19世纪中叶,已经没有拉比和能懂希伯来语的人,宗教活动被迫停止,犹太文化彻底失传。