然而，人们很快发现情况并没有想象中乐观。单纯依靠词典和语法规则，机器难以处理复杂的语法结构，也无法理解微妙的语义变化。一个经典的例子是，英语谚语"心有余而力不足"被翻译成俄语时，结果变成了"酒是好的，肉变质了"，显然曲解了原意。这暴露了基于规则方法的局限性。
1966 年，美国科学院的自动语言处理咨询委员会（ALPAC）发布了一份题为《语言与机器》的报告。报告指出，"目前没有太多理由大力支持机器翻译的研究"，并认为"机器翻译遇到了难以克服的语义障碍"。至此，机器翻译的研究进入低谷期，并持续了十余年。
70 年代，基于转换的翻译方法（Transfer-based Machine Translation）开始受到关注。这种方法首先对源语言句子进行自下而上的语法解析，然后在每一个层次上进行翻译，最后基于各层的翻译结果生成目标语言的句子。
Vauquois 三角形描述的基于规则的翻译方法。（1）直接翻译：最上方的连线表示词对词的直接翻译。（2）基于转换的翻译：首先沿着左侧"源语言分析"路径对源句子进行语法分析，然后通过句法转换和语义转换，将源句子的句法和语义转化为目标语言的句法和语义，最后沿右侧"目标语言生成"路径合成目标语言句子。（3）中间语翻译：不做层层的翻译，而是将源句子直接翻译成一个"中间语言"，再从中间语言转译成目标语言句子。图片来源：Schwartz et al., 2018.
尽管这些方法在理论上思路清晰，但实际应用中很快暴露出问题。自然语言的复杂性远超预期，很多句子难以被准确解析，更遑论翻译。因此，基于规则的翻译方法逐渐走向没落。