Zunächst wurde Jakob Zwitzel nicht in Augsburg, sondern überraschenderweise am Bodensee tätig. Im Jahr 1500 finden wir ihn unter Lux Böblinger, einem Bruder des Ulmer Meisters Matthäus Böblinger, als „Jakob von Ulm“ am Münster von Konstanz beschäftigt. Im gleichen Jahr lässt er sich ebenso am Münster St. Nikolaus in Überlingen nachweisen, der größten gotischen Kirche am Bodensee, wo der Wandergeselle „Jacob Stainmetz von Ulm“ zwei Gulden als Lohn bekam. Die Herkunftsbezeichnung „von Ulm“ bei den beiden Erwähnungen in Konstanz und Überlingen kann als deutlicher Beleg dafür gelten, dass er zuvor tatsächlich ebenso schon am Ulmer Münsterbau als Geselle mitgearbeitet und möglicherweise bereits dort bereits einen guten Ruf erworben hatte.
Lohn von zwei Gulden für den Steinmetz Jakob von Ulm laut Umlageregister
im Jahr 1500 des Münsterbaus in Überlingen.