Die Töpfer gehören neben den Zinngießern und Plattnern zu den künstlerisch tätigen Handwerkern, die weit über die Grenzen Annabergs hinaus bekannt wurden und Bedeutung erlangten. Der Chronist Paulus Jenisius erwähnt Brennöfen und Töpferhäuser vor dem Buchholzer Tor. Die Stadtmauern mussten aufgrund der großen Brandgefahr außerhalb der Werkstätten errichtet werden . Ein weiterer Chronist datiert die Bestätigung der Innungsartikel der Töpfer durch den Rat in das Jahr 1533.
Annaberger Töpferwaren genossen einen guten Ruf. Die zwei Töpfer Merten Koller und Christoph Niesl sind durch ihre vollkommene Kunstfertigkeit von besonderer Bedeutung. Kostbarkeiten aus Ton sind zum Beispiel ein Tafelfass von 1687, ein Posamentenkrügel, besetzt mit nachgebildeten Quasten, Borten und Schnüren und einige erhalten gebliebene Kachelöfen.
Den benötigten Ton fanden die Töpfer am Westhang des Pöhlberges. Sie trieben unter der Basaltdecke des Berges kleine Stollen vor, um die Toneinlagerungen zu erreichen. Die Ablagerungen kamen nur in kleinen Flözen vor. Der Abbau war mühsam. Daraus erklärt sich auch, dass die Annaberger Meister in der Herstellung des billigen Gebrauchsgeschirrs nicht mit den Töpfern des Tieflandes konkurrieren konnten, sondern mehr künstlerisch wertvolle Waren erzeugten.