全诗可分为三段。 从首句到“更堪走风沙”为第一段。第一段，自开篇至“更堪走风沙”，诗人以深沉的笔触勾勒了当时社会的动荡与民众的苦难。安史之乱后，藩镇割据与吐蕃的侵扰使得国土四分五裂，民生凋敝。诗人笔下的“骚然县宇，土崩水溃，畹中无熟谷，垅上无桑麻”，如实地反映了战乱造成的荒凉景象。为了逃避战乱，诗人流亡至四川，却发现那里亦非避难的乐土。旅途的艰辛与风霜的侵袭，使诗人的形象变得狼狈不堪：“貂裘蒙茸已敝缕，鬓发蓬舥，雀惊鼠伏”。写出了旅途中的狼狈情景，为下文借写冰柱抒发感喟作了铺垫。

　　从“天人一夜剪瑛琭”到“直下不能抑群邪”为第二段。这一段是全诗的主要部分，描绘了冰柱的奇丽景色。在一夜大雪之后，房檐间的冰柱垂挂下来，大大小小，高高低低，一样的晶莹洁白，玉色琼辉。它不是冰柱，而是天上玉龙的爪牙；它不是冰柱，而是汉高帝的斩蛇宝剑！这两个奇特的比喻，不仅写出了冰柱的风神，还为下文写它的不为世用张势：它不能化为及时雨，使田禾滋壮；而只能化为泥浆，使道路艰难。它不能化为九江的波浪，奔向大海；而只能浸没于峡谷，沉沦于天涯。它不能化为双井名泉，煮茗煎茶；它不能化为中山美酝，芳香四溢。它不能蓄而为池，积而为沼，养鱼种芰；它不能为甘泉，不能为饴露，使这特异的祥瑞征兆为世俗赞夸。它只能凭着它的清澈之气，孤洁自赏，自凝自消。它的光彩虽不大，却无法掩遮；它负着曲瓦，不能施展神锋，铲除奸邪。这一大段的描绘，句句是在写冰柱，却句句关合到诗人自己。诗人的怀才不遇的激愤之情，刚傲不羁的性格，全面地显示了出来。

　　自“奈何时逼”至诗篇末尾，诗人将笔触转向冰柱消融后的感慨。天晴之后，冰柱消融，如同诗人的梦想破灭。诗人感叹万物的成与毁皆由天定，而冰柱的消逝却显得尤为凄凉。与此形成鲜明对比的是那些井蛙壁虫，它们虽微不足道，却能在顺境中肆意生长，而诗人自己却只能孤芳自赏，无法施展才华。在这一段中，诗人借冰柱与井蛙壁虫的对比，揭示了当时政治上的小人当道、贤士失意的现实。最后，诗人将希望寄托于皇帝身上，期盼他能重用贤才、排斥奸邪，以实现天下太平的愿景。这两句诗不仅点明了全诗的主题，更展现了诗人对于国家未来的深切忧虑与期待。

　　这首诗在艺术上很有特色，以冰柱入诗，题材新奇。更奇的是对冰柱的形象描写，把冰柱拟人化，句句是写冰柱，也是句句在表露自己的怀才不遇。他用玉龙的爪牙，刘邦的斩蛇宝剑来比喻冰柱，贴切而新鲜，为修辞手法创一特例。就诗体来说，这首诗是句子长短不一的杂言体，抒写较自由，适宜于表现较复杂的思想感情。用这种诗体，不可避免的是多议论，散文化。刘叉的这首诗显然是受《月蚀诗》的影响，而又加以发展，显得更为奇谲奔放。使这首诗显出它的最大特色的是在用韵方面。它用的是麻韵，麻韵字的音是响亮的，高亢的，但韵字却比较少，因有“险韵”之称。这首诗共二十七韵，全属麻韵，中间的“舥”字，“柤”字很少有人用过。“邪”字用了两次，前一个音“牙”，是剑名；后一个音“霞”，是奸邪之“邪”的另一读，音义不同，故得同用。用麻韵写古体诗，一韵到底的很罕见。本诗在抒写中一气贯下，纵横自如，在描绘冰柱一段，连用了六个“不为”排句，气势浩荡，郁结于胸中的不平之气，喷薄而出。“特禀朝沏气，洁然自许靡间其迩遐”两句，拗折多姿；“森然气结一千里，滴沥声沉十万家”两句，对仗整饬。这些句式的变化是和感情的起伏跌宕密切相连的，句子或长或短，或对仗，或散行，而最后都能很自然地落到韵脚上来，毫无生拼硬凑的毛病。用险韵而不觉其险，显示出诗人的才华，为唐代诗坛增添了光彩。宋代苏轼在《雪后书北台壁二首》中用“尖”、“叉”二韵，第二首的末两句是：“老病自嗟诗力退，寒吟《冰柱》忆刘叉。”可以看出他对于刘叉的《冰柱》诗是很赞赏的。