据《史记》和《汉书》记载，东方朔精通儒家经术，擅长文学，机智诙谐，言辞敏捷，还能针砭政治得失，陈献农战强国之计，是一位很有学识智慧的文化人；但是他却甘于充当宫廷俳优，还自我秽德污名，自称是“避世金马门”；当时有许多人不理解他，后来的史家也贬褒不一，那么究竟应该怎样看待他呢？
东方朔入仕之初，就故意夸夸其谈地向朝廷上书自荐，说自己“年十三学书，三冬文史足用。十五学击剑，十六学《诗》、《书》，诵二十二万言。十九学孙、吴兵法，战阵之具，钲鼓之教，亦诵二十二万言，凡臣朔固已诵四十四万言”。他还自夸说，如今我已二十二岁，身高九尺三寸，双目炯炯有神，像明亮的珠子，牙齿洁白整齐得像编排的贝壳，勇敢像孟责，敏捷像庆忌，廉俭像鲍叔，信义像尾生。我这样的人，应该能够做天子的大臣吧！他洋洋洒洒写了三千片竹简，要两个人才扛得起，汉武帝足足花了二个月的时间才读完。而他的得到召见和取用，更是一通恶搞。东方朔故意吓唬几个侏儒：“皇帝说要杀掉你们呢，还不赶紧去求情！”直吓得侏儒们哭哭滴滴去向汉武帝求饶。武帝追问，东方朔就说：“他们身高三尺，我身高九尺，而我与侏儒所赚奉禄却一样多，总不能撑死这些个头小、饿死我这大个头吧？”这下把汉武帝逗乐了，于是要他在金马门待诏。
东方朔被汉武帝召到宫中当了常伺郎，可他却经常干些庸俗不堪的事情。武帝诏赐他御前用饭，他便把剩下的肉鱼全都揣在怀里带走，把衣服都弄得脏兮兮的，甚至内急时在宫廷上撒尿（这下可把汉武帝惹恼了）。皇上赐给他绸绢，他都是肩挑手提地拿走，而且把皇上所赏赐的钱财都花在女人身上，娶长安城中年轻漂亮的女子为妻，大多只一年光景便抛弃再娶。于是人们都认为这东方朔简直太没德行了。汉武帝知道后也说：“假如东方朔不干这些荒唐事，像个当官的样子，别人哪能比得上他啊！”
东方朔智商很高，甚至精通易经卜卦占测之术，但是他却以此来求得赏赐。有一次建章宫后阁里跑出一只动物来，形状很怪异。汉武帝亲自去看，问身边群臣中熟悉事物而又通晓经学的人，都不知道它是什么动物，就叫东方朔来看。东方朔说：“我知道，不过要赐给我美酒好饭让我饱餐一顿，我才说。”武帝说：“可以。”吃过酒饭，东方朔又说：“某处有公田、鱼池和苇塘好几顷，陛下赏赐给我，我才说。”武帝也说：“可以。”于是东方朔才肯说道：“这家伙叫驺牙，它的牙齿前后一样，大小相等而没有大牙，所以叫它驺牙。驺牙出现，当有远方前来投诚的事。”一年过后，匈奴混邪王果然带领十万人来归降汉朝。东方朔就这样经常求得赏赐。
由于东方朔如此“犯贱”，所以一直得不到提拔，数十年来官衔不过是个太中大夫。当时很多人都不理解，有些郎官就劝他说：“苏秦、张仪一当万乘之主，而都卿相之位，泽及后世。今子大夫修先王之术，慕圣人之义，讽诵《诗》、《书》百家之言，不可胜数。著于竹帛，自以为海内无双，即可谓博闻辩智矣。然悉力尽忠以事圣帝，旷日持久，积数十年，官不过侍郎，位不过执戟，意者尚有遗行邪？其故何也？”意思是说，你这样自己糟蹋自己，到底是为什么啊？
没想到东方朔不但不为所动，还编了一套不无自嘲的大话来解释，说“（如今）圣帝在上，德流天下，诸侯宾服，威振四夷，连四海之外以为席，安于覆盂，天下平均，合为一家，动发举事，犹如运之掌中。贤与不肖，何以异哉？方今以天下之大，士民之众，竭精驰说，并进辐凑者，不可胜数……使张仪、苏秦与仆并生于今之世，曾不能得掌故，安敢望常侍郎乎？”意思是说，如今皇上这样英明盖世，天下人又群贤毕至，我有机会做个“常侍郎”就不错了。
那些侍郎听了都摇头苦笑，心想这家伙如此遭受屈辱，反而说出这种阿谀奉承的话来，也太没骨气了！
倒是汉武帝多少有些识人之明，当东方朔临终前规劝汉武帝不要听信谗言时，武帝回想起他在修上林苑之事上谏戒奢恤民，在昭平君杀人之事上谏公正执法，在主人翁事件上谏矫枉风化，终于意识到东方朔的良苦用心，说：“如今回头看东方朔，他难道只是个没正形的俳优吗？”
不过，东方朔自己在喝醉酒的时候，还是透露过他的心迹的。“时坐席中，酒酣，朔曰：’如朔等，所谓避世于朝廷闲者也。古之人，乃避世于深山中。宫殿中可以避世全身，何必深山之中，蒿庐之下’”。他据地歌曰：“陆沉于俗，避世金马门！”（金马门者，宦〔者〕署门也，门旁有铜马，故谓之曰：“金马门”）。
原来，东方朔之所以如此处世为人，乃是他的一种避世全身的“隐居”之法。他甚至认为这样“隐居”还是一种修身之道：作为一个有见识的文化人，隐居于深山中，那是一种消极避世的态度，而要于世有补，其实是可以“避世于朝廷”的。而“避世于朝廷”，就必须像世俗那样喜欢钱财女色，这样才不至于被嫉贤妒能；就不能正经八股地求当大官，这样才可以避免官场倾轧；就不能一古脑儿犯颜直谏，这样才不至于得罪惹祸。嬉皮笑脸甘当俳优、庸俗秽德自我污名，这样虽然牺牲了自己的名节和人格尊严，但多少还能“与义相扶”。
东方朔如此处世，如此隐居，如此修身，该是多么委屈，多么可惜，多么可悲，当然很难被人理解，甚至会遭人鄙视谩骂；不过在汉武那样的时代、那样的世道，像他这样的文化人不得已而为之，其实也是难能可贵的，甚至是很了不起的。所以虽然杨雄批评“朔言不纯师，行不纯德，其流风遗书蔑如也。”而班固则评价东方朔是“应谐似优，不穷似智，正谏似直，秽德似隐”，“其滑稽之雄乎”！