Dann schau doch mal in die Server-Logs, da steht meistens was genaueres.
Vorhin hast du geschrieben, dass es mit der FQDN nicht geklappt hat. Jetzt schreibst du, dass es nur mit der FQDN klappt!? Das lässt sich relativ leicht erklären: Du hast wahrscheinlich die entsprechenden DNS-Records für imap.fqdn und smtp.fqdn nicht gesetzt.
Mir geht es nicht darum ob man POP oder IMAP nutzt, sondern ob die Verbindung verschlüsselt ist. Das Passwort im Plaintext über die Leitung zu schicken ist halt Sicherheitstechnisch ziemlich suboptimal. Dank Let's Encrypt kostet das nichtmal Geld.