• 人工智能 LLM 革命黎明：Copilot as a Service 将打造无数超级个体，核心能力是预测与自主 by 麦克船长

    最近对于本轮生成式 AI 浪潮的讨论，进入了一个新阶段，大家从模糊地认为是巨大变革，逐渐开始探讨具体的变革机会点。我想讲讲自己对于本轮技术变革，在 to B 领域的一些基本观点。这些基本观点，是有争议的、非共识的，但我想有必要输出，以换来更多朋友与我的交流碰撞。

  • 人工智能 LLM 革命破晓：一文读懂当下超大语言模型发展现状

    人类创造城市，又把它虚拟化；创造机器，又希望机器习得创造。人工智能似乎要来到觉醒的那一刻了。过去数十年，数据科学家研发出了一个又一个 AI 模型，似乎总在重复造轮子。能否通过更便捷有效的方式，真正让机器去统一吸收文本、语音、图片等不同类型的数据和知识并创造出不同的内容呢？多模态预训练大模型打通了模态之间的关系，模型逐步标准化。下一步，则是建立统一的、跨场景、多任务的多模态基础模型。机器从未像今天这般吸收、理解、创造，一个崭新的 AI 大时代即将开启。生成式 AI 显然是机器中的佼佼者。不久前爆火的 ChatGPT，学会了从人类的反馈中强化学习，能你来我往多轮聊天。会对话，也会作画，是基于 diffusion 模型的 AI 绘画，，从最初的拼贴已经进化到三维动画、建模贴图的 next level，甚至 AI 还会自我编码，在 codeforces 举办的编程竞赛中 AlphaCode 超过了 47% 的人类工程师。未来三年，生成式 AI 不但会有越来越多的产品，它的内容创造能力将达到人类水平。

  • 人工智能 LLM 革命前夜：一文读懂横扫自然语言处理的 Transformer 模型

    基于 RNN 的 Encoder-Decoder 模型存在无法处理过长文本、并行性差的两大痛点。2015 年 Bahdanau 等人在其论文中提出 Attention 机制，再到 2017 年 Transformer 模型的论文《Attention is All You Need》横空出世，其并行速度极快，而且每两个词之间的词间距都是 1。此后 NLP 领域 Transformer 彻底成为主流。如果你已经了解 Encoder-Decoder 模型，本文将基于此带你深入浅出的搞清楚 Attention、Transformer。

  • 趋势量化基础（持续更新）

    Get historical data of specific option

  • 【摘录】Livemore：华尔街不会改变，人性不会改变

    杰西·劳里斯顿·李佛摩（Jesse Lauriston Livermore），1877 年 7 月 26 日 — 1940 年 11 月 28 日，华尔街著名金融家，被《时代》杂志形容为「最活跃的美国股市投机客（the most fabulous living U.S. stock trader）」。以下是他的言论摘录。

  • 趋势量化之 Event-Driven 1：上市公司发行可转债有什么影响（持续更新）

    可转债（Convertible Bond，简称 CB），即可转换债券（或可换股债券），可按一定规则转换为债券发行公司的股票。其转换价格、转换时间段会在发行前确定。

  • 【摘录】投资的道路上不存在捷径，但如果向成功的投资大师学习，可以少走很多弯路。

    原文链接：https://mp.weixin.qq.com/s/U8YsBlMOtj98LeTxXOPigQ?global_content=%7B%22promote_id%22%3A13766%2C%22sub_promote_id%22%3A4%7D

  • 【摘录】投资中的节奏与结构 | 42章经

    从第一篇经典的 投资中的信号与噪声 以来，绿洲资本合伙人张津剑已陆续在 42章经 发表了三篇原创文章（其余两篇为 投资决策中的信噪比 和 投资中的周期与载波）。这三篇文章从 2018 年至今，可谓是横跨了周期，也启发了很多投资行业的从业者。

  • 麦克船长解读 LIMA 的表面对齐假设：少量多样性、高质量数据即可实现更好的对齐

    在这篇论文中，作者使用这个测试数据集来评估他们的模型 LIMA（Less Is More for Alignment）的性能，并将其与其他的语言模型进行比较。他们发现，尽管 LIMA 只在1000个示例上进行了微调，但它的性能仍然优于其他的语言模型。

  • 麦克船长的全栈指南：Google Flutter 开发跨平台 APP

    在一个人就是一支队伍的时代里（在 AI 急速发展的推动下，未来会越来越趋于《未来简史》所描述的「半神」），产品、运营还是工程，最好都要会一些前端，这样方便自己做一点东西便于提高日常的生产力。今天介绍的是 2018 年开始的 Google Flutter 跨多平台终端的技术，支持 iOS、Android、Web、macOS、Linux、Windows ……

  • 【摘录】我国城乡二元结构的由来

    美国作为互联网乃至科技行业的全球领导者，始终还是中国互联网及科技发展的关键参照物。两者相比，中国有很多独特的宏观因素导致无法使用 Time Machine 来照搬美国，同时目前前沿领域两者的时间差也已经非常小了（这非常不同于 PC 互联网浪潮），所以即便有 Time Machine 有效性也没那么充足了（尽管仍然有一定参考价值）。这其中有一个关键特征，就是中国的城乡二元经济结构，受此影响最显著的科技有公司比如拼多多

  • 麦克船长：理解和重塑 AI 时代的八个一切 / The Eight ALLs for Understanding and Shaping the AI Era

    As a product manager focusing on the AI field, I often find ourselves constrained by current product forms, making it difficult to think about truly AI-native products. While pondering on how to build AI-native products, I have summarized the following eight points.

  • 对比解读半年两次 AI 监管条例 10 点变化：从强调自律到鼓励创新，支持发展定调！

    近日一条通知引起了 AI 圈子的广泛关注《国家互联网信息办公室关于〈生成式人工智能服务管理办法（征求意见稿）〉公开征求意见的通知》，网络上有一些解读，但是我发现都忽视了一点，就是在 2022 年 11 月 25 日，就在 ChatGPT 要横空出世前不到一周，国家网信办就发布过一则《互联网信息服务深度合成管理规定》（以下简称为《202211 规定》），原文链接：`http://www.cac.gov.cn/2022-12/11/c_1672221949354811.htm`。这两次内容之间的对比，能让我们显著看到网信办在过去小半年的时间里，对哪些方面做了深入研究、推演，整体政策出发点、基调发生了什么变化，因此而释放了什么信号。

  • 上船跑模型之 MacBook 上运行 Vicuna（ShareGPT 微调版 LLaMA-13B）

    Vicuna 是一个基于 LLaMA 微调的大语言模型。Vicuna-13B 是一个使用 ShareGPT 收集的用户对话数据进行训练的开源 ChatBot。Vicuna 使用 GPT-4 进行评估，其在质量方面已经达到了超过 90% 的 OpenAI ChatGPT 和 Google Bard，同时在超过 90% 的情况下表现优于 LLaMA、Stanford Alpaca。今天跟着船长一起，在你的 MacBook 上把 Vicuna 跑起来！

  • ChatGPT 插件的十大关注点：OpenAI 定义大模型消费级平台

    北京时间 3 月 24 日凌晨，OpenAI 官方发布了重磅的「ChatGPT plugins」，这将开启大模型作为平台的模式定义、商业化模式定义、插件产品开发热潮、全新的大模型优化（LMO）等等。本文共分三个部分：第一部分先速览几个重要的关注点，尤其是本次插件发布带来的行业影响；第二部分针对本次 OpenAI 官方推出的插件做介绍；第三部分是开发者最关心的第三方插件的支持能力做简述。跟船长出发吧，坐稳了！

  • 上船跑模型之一键运行 Alpaca.cpp：笔记本上就能跑的 LLaMA！

    Alpaca 是 Stanford 的一个研究团队在 LLaMA 基础上用少量语料微调得到的开源模型，GitHub 上的 antimatter15/alpaca.cpp 是其 C++ 一键运行版本

  • 通往 AGI 的阿波罗时刻：极速浏览 GPT-4 技术梗概

    北京时间 2023 年 3 月 15 日，OpenAI 正式发布 GPT-4 —— 大型多模态模型（Large Multimodal Model），输入支持文本和图像，输出支持文本。OpenAI 花了半年时间用对抗测试程序和 ChatGPT 来迭代对齐 GPT-4，结果上 GPT-4 尽管还有很多能力不及人类，但有些场景已经非常炸裂、拉齐人类水准，比如事实性（Factuality）、可控性（Steerability）、拒绝越界（Refusing to Go Outside of Guardrails）。举例来说，GPT-4 在模拟律师考试中获得了 Top 10% 的成绩（对比 GPT-3.5 是 Bottom 10%）。而船长的一个朋友在和他认识的律师围绕 GPT-3.5 和 GPT-4 的法律案例分析效果对比时，律师给出了极高的评价 ……

  • 开源 LLM 革命之 2：Stanford 研究团队发布基于 LLaMA 微调的 Alpaca 模型，仅花费不到 500 美元

    Meta 的 LLaMA 模型发布后不久，在 2023 年 3 月 13 日，一个叫 Alpaca 的模型被发布。Alpaca 是一个在 LLaMA-7B 基础上用 5.2 万条的「instruction-following」微调得到的 LLM，由 Stanford 大学的基础模型研究中心（Center for Research on Foundation Models，CRFM）团队发布，训练总花费约不到 600 美元。

  • 上船跑模型之 MacBook 上运行 LLaMA 7B 和 13B 原始模型

    Meta 推出的 LLaMA 被「开源」了 …… 基于 LLaMA 更高参数利用效率的基础上，我们可以用 ggerganov/llama.cpp 来实现 MacBook 上简单几步，就能运行 LLaMA 7B 和 13B，甚至可以运行在智能手机上 ……

  • AI 应用第一次大爆发来了：一文入门 ChatGPT 官方 API 文档解读

    开发人员现在可以通过 API 将 ChatGPT 和 Whisper 模型集成到他们的应用程序和产品中。

  • 千日酒：麦克船长在阿里巴巴的第 999 天

    玄石饮酒，一醉千日。酒之美矣，而致醉眠千日，今合醒矣。正视自己的财富与地位，不在虚假繁荣、自圆其说中虚度光阴目标驱动，以终为始，纵情向前。

  • 开源 LLM 革命之 1：Meta 推出开源 LLaMA，用 1/10 参数规模打败 GPT-3，群"模"乱舞的 2023 拉开序幕

    北京时间 2023 年 2 月 25 日 Meta AI 在其官网公开发布了 LLaMA（Large Language Model Meta AI）大型语言模型，包括 70 亿、130 亿、330 亿、650 亿 4 种参数规模，旨在推动 LLM 领域的小型化、平民化研究。Guillaume Lample 在其 Twitter 上声称：LLaMA 130 亿参数版本的表现，在大多数测试上优于 OPT 和 GPT-3 1750 亿参数版，650 亿的版本表现基本可以比肩 Chinchilla 700 亿参数、PaLM 5400 亿参数这些大模型。

  • design | Michael & Greta Anniversary

    Michael and Greta's one-year anniversary ring! Einjähriger Jahrestagsring von Michael und Greta! Bague d'anniversaire d'un an de Michael et Greta! マイケルとグレタの1周年記念リング! 마이클과 그레타의 1주년 기념 반지! Anillo de aniversario de un año de Michael y Greta! Anel de aniversário de um ano de Michael e Greta! Anniversarium unius anni annuli...

  • 麦克船长：国家网信办《互联网信息服务深度合成管理规定》解读

    国家互联网信息办公室、中华人民共和国工业和信息化部、中华人民共和国公安部 令 第12号

  • 麦克船长的 OpenAI 模型 API 官方文档入门解读

    在 OpenAI 的 API 官方首页的大标题写着的是「用 OpenAI 的强力模型构建下一代应用（Build next-gen apps with OpenAI’s powerful models）」，并直接点出了自己最拿得出手的三个商业化产品 GPT-3、Codex、DALL·E。本文麦克船长重点为你解读基于 GPT-3 的几款模型的入门使用。

  • 【编译】三万字长文！LSTM 之父 Jürgen 带我们回顾深度学习发展史

    本文译自 LSTM 作者 Jürgen Schmidhuber，全文主要由 AI 翻译生成，麦克船长进行部分校对，这篇超长文章为了串联起了深度学习领域的大事件，以及那些引领我们的优秀科学家们。

  • 【编译】当下生成式 AI（AIGC）领域的应用图景

    随着 ChatGPT 和 DALL-E 的发布，2022 年社交媒体平台上最热门的话题之一在最近几周爆发，引发了关于其对全球人员、职业和行业影响的激烈辩论。 争议的核心是什么？ 生成式 AI (Gen-AI)——可以快速创建新内容的系统，例如大学论文、歌曲和数字艺术作品。 这些能力令人印象深刻，但它们也引发了关于工作的未来以及人类在 AI 主导的世界中的作用的重要问题。 随着生成式人工智能的不断发展，考虑伦理意义和对社会的潜在影响将变得至关重要。 如果创造性工作在很大程度上被人工智能机器取代，会发生什么？

  • 【编译】游戏生产力革命：生成式 AI（AIGC）正在深度变革游戏领域

    2022 年是生成式 AI（Gen-AI）的元年，而游戏领域也正在被生成式 AI 进行着生产力革命。当下游戏 2D 素材、3D 建模、音频内容、实时生成智能语音交互 …… 等等一系列技术在游戏世界里率先应用，正在推动一个让玩家更可以全方位实时交互的游戏世界的诞生，而不再像以前一样只能依赖以往设定好的游戏交互内容，这令人感到无比兴奋。而这些技术在虚拟世界成熟后，将会逐渐渗透回现实世界中的各项应用，尤其是创作者生态的生产力变革，更进一步地影响普通人日常的内容获取与 AI 交互。

  • 【摘录】通向 AGI 之路：大型语言模型（LLM）技术精要

  • 自然语言处理 AIGC 近年的发展脉络、关键论文、技术里程碑和商业应用

    火出圈的 ChatGPT，背后是自然语言处理领域近几年发展的成果。本文从近几年自然语言处理的关键发展脉络，过程中关键的几篇学术论文，这几年的所有重要行业里程碑，以及目前为止业内已经诞生的应用。