单独存在的咖啡牛奶斑常常只是胎记的一种，对人体健康并无不良影响，但是，如果咖啡牛奶斑数目较多而且逐渐变大时，就要警惕是否存在“神经纤维瘤”的可能。
神经纤维瘤是常见的遗传性疾病，发生率约1/3000，临床以第一型最为常见。在青春期前，除了皮肤上出现咖啡牛奶斑外，几乎没有其他外观上的异常。以后部分病人会陆续出现皮肤的神经纤维瘤或眼睛的视神经胶瘤以及身体各器官的肿瘤，有时也会因血管狭窄导致高血压或影响骨骼生长导致脊椎侧弯。少数严重的病例有时还会造成肢体异常增长或淋巴水肿，外表如同大象的腿一样。
神经纤维瘤与牛奶咖啡斑一样，也是一种显性遗传病。患者的下一代再发生此病的机会大约1/2。而另有一半病人是由于本身基因突变所致，与父母无关，其除了症状的出现与年龄有关外，在家族成员或不同病人之间症状的差异也很大，有人可能一辈子只存在咖啡牛奶斑，而有人却很早就出现各种神经纤维瘤，甚至恶性肿瘤。
判断咖啡牛奶斑儿童是否会发展成神经纤维瘤的方法是：在身上（尤其是腋下）出现6个或6个以上，且直径〉0。5公分（青春期前）或〉1。5公分（青春期后）的咖啡牛奶斑时，就应密切注意孩子的神经系统、内脏、眼睛等有无肿瘤，以及孩子的生长发育是否出现异常，如身材矮小、性早熟或智力低下等。
临床还有一些较少见的遗传或染色体疾病也会出现咖啡牛奶斑，所以当发现儿童身上存在咖啡牛奶斑同时合并生长不良或其他身体异常时，就应及时去医院做检查。
神经纤维瘤的起因乃是细胞内一种“肿瘤抑制基因”异常所致，除非肿瘤造成明显压迫的症状或危急生命时，则必须做切除手术，否则即使将皮肤肿瘤切除，也有可能会再次复发。至于考虑到咖啡牛奶斑影响美观，临床则可利用镭射除去斑块。
