Hab mal zu Blähton und Tuffstein recherchiert. Blähton würde ich ausschließen. Dafür ist es wohl zu schwer und auch zu wenig porös. Hab allerdings noch ein anderes Fundstück, welches Blähtun sein könnte, daher trotzdem Danke für den Tipp

Kalktuff hingegen liegt da wohl wirklich im Bereich des Möglichen. Da sind die Ähnlichkeiten doch schon recht deutlich.
Vielleicht ist es für Lehm oder Mörtel auch einfach zu feinkörnig. Ich kann da keine gröberen Inhalte erkennen und das würde ich bei Mörtel auf jeden Fall erwarten. Bei Lehm bin ich mir da aber nicht so sicher.
Daniel