春秋战国时代楚国郢都（今湖北荆州）人伯牙，姓伯，名牙。他虽为楚人，却任职晋国上大夫，且精通琴艺。伯牙抚琴遇知音就是他在探亲回国途中发生的故事。这个故事最早是从民间口头流传下来的，历史上并无确切记载。在古籍中，战国郑人列御寇著《列子》一书中有关于俞伯牙抚琴的民间故事。
经考证，伯牙原本就姓伯，说他“姓俞名瑞，字伯牙”是明末小说家冯梦龙在小说中的杜撰，史志载钟子期为汉阳集贤村人氏，乡民以子期为荣，口耳相传一句俚词:“子期遇伯牙，千古传知音。”明代，冯梦龙编撰《警世通言》，特意到汉阳探源访佚，由于汉阳话“子期遇伯牙”中的“遇”与“俞”读音相同，都是去声，便把“子期遇伯牙，千古传知音。”误听为“子期俞伯牙，千古传知音。”伯牙也就成了冯梦龙笔下的俞伯牙了——《俞伯牙摔琴谢知音》。由于《警世通言》影响巨大，俞伯牙这名字越传越远，遂以讹传讹了。笔者久居汉阳，遇、俞二字读音难辨，乡人口音重，读时音调还会尖声上扬，很有特点，作为苏州人的冯梦龙当时不听走音才怪。至于“名瑞，字伯牙”也者，当为“小说家言”。而在此之前的《史书》与《荀子》、《琴操》、《列子》等书中均为“伯牙”。东汉高诱注曰：“伯姓，牙名，或作雅”，现代的《辞源》也注曰：“伯姓牙名”。伯在古代是个很普通的姓，如周武王时不食周粟的伯夷，秦穆王时擅长相马的伯乐等。
伯牙是当时著名的琴师，善弹七弦琴，技艺高超。既是弹琴能手，又是作曲家，被人尊为“琴仙”。《荀子?劝学篇》中曾讲“伯牙鼓琴而六马仰斜”，可见他弹琴技术之高超。《吕氏春秋·本味篇》记有伯牙鼓琴遇知音，钟子期领会琴曲志在高山、流水的故事。《琴操》记载：伯牙学琴三年不成，他的老师成连把他带到东海蓬莱山去听海水澎湃、群鸟悲鸣之音，于是他有感而作《水仙操》。现在的琴曲《高山》《流水》和《水仙操》都是传说中伯牙的作品。后人以伯牙摔琴谢知音的故事为题材还创作了琴歌《伯牙吊子期》。
俞伯牙从小就酷爱音乐，他的老师成连曾带着他到东海的蓬莱山，领略大自然的壮美神奇，使他从中悟出了音乐的真谛。他弹起琴来，琴声优美动听，犹如高山流水一般。虽然，有许多人赞美他的琴艺，但他却认为一直没有遇到真正能听懂他琴声的人。他一直在寻觅自己的知音。
有一年，俞伯牙奉晋王之命出使楚国。八月十五那天，他乘船来到了汉阳江口。遇风浪，停泊在一座小山下。晚上，风浪渐渐平息了下来，云开月出，景色十分迷人。望着空中的一轮明月，俞伯牙琴兴大发，拿出随身带来的琴，专心致志地弹了起来。他弹了一曲又一曲，正当他完全沉醉在优美的琴声之中的时候，猛然看到一个人在岸边一动不动地站着。俞伯牙吃了一惊，手下用力，“啪”的一声，琴弦被拨断了一根。俞伯牙正在猜测岸边的人为何而来，就听到那个人大声地对他说：“先生，您不要疑心，我是个打柴的，回家晚了，走到这里听到您在弹琴，觉得琴声绝妙，不由得站在这里听了起来。” 俞伯牙借着月光仔细一看，那个人身旁放着一担干柴，果然是个打柴的人。俞伯牙心想：一个打柴的樵夫，怎么会听懂我的琴呢？于是他就问：“你既然懂得琴声，那就请你说说看，我弹的是一首什么曲子？”
听了俞伯牙的问话，那打柴的人笑着回答：“先生，您刚才弹的是孔子赞叹弟子颜回的曲谱，只可惜，您弹到第四句的时候，琴弦断了。” 打柴人的回答一点不错，俞伯牙不禁大喜，忙邀请他上船来细谈。那打柴人看到俞伯牙弹的琴，便说：“这是瑶琴，！相传是伏羲氏造的。”接着他又把这瑶琴的来历说了出来。听了打柴人的这番讲述，俞伯牙心中不由得暗暗佩服。接着俞伯牙又为打柴人弹了几曲，请他辨识其中之意。当他弹奏的琴声雄壮高亢的时候，打柴人说：“这琴声，表达了高山的雄伟气势。”当琴声变得清新流畅时，打柴人说：“这后弹的琴声，表达的是无尽的流水。”
俞伯牙听了不禁惊喜万分，自己用琴声表达的心意，过去没人能听得懂，而眼前的这个樵夫，竟然听得明明白白。没想到，在这野岭之下，竟遇到自己久久寻觅不到的知音，于是他问明打柴人名叫钟子期，和他喝起酒来。俩人越谈越投机，相见恨晚，结拜为兄弟。约定来年的中秋再到这里相会。
和钟子期洒泪而别后第二年中秋，俞伯牙如约来到了汉阳江口，可是他等啊等啊，怎么也不见钟子期来赴约，于是他便弹起琴来召唤这位知音，可是又过了好久，还是不见人来。第二天，俞伯牙向一位老人打听钟子期的下落，老人告诉他，钟子期已不幸染病去世了。临终前，他留下遗言，要把坟墓修在江边，到八月十五相会时，好听俞伯牙的琴声。
听了老人的话，俞伯牙万分悲痛，他来到钟子期的坟前，凄楚地弹起了古曲《高山流水》。弹罢，他挑断了琴弦，长叹了一声，把心爱的古琴在青石上摔了个粉碎。俞伯牙以为这世上真的没有了第二个知音。所谓人生的得以知己 足以足以。他便悲伤地说：“我唯一的知音已不在人世了，这琴还弹给谁听呢？” 俞伯牙痛苦万分，一辈子不再弹琴。
两位“知音”的友谊感动了后人，人们在他们相遇的地方，筑起了一座古琴台。直至今天，人们还常用“知音”来形容朋友之间的情谊。