调试Go语言的核心转储（Core Dumps）

英文原文链接【Go, the unwritten parts】 发表于2017/05/22 作者JBD是Go语言开发小组成员

站在用户的角度思考问题，与客户深入沟通，找到西宁网站设计与西宁网站推广的解决方案，凭借多年的经验，让设计与互联网技术结合，创造个性化、用户体验好的作品，建站类型包括：成都网站建设、网站制作、企业官网、英文网站、手机端网站、网站推广、国际域名空间、雅安服务器托管、企业邮箱。业务覆盖西宁地区。

检查程序的执行路径和当前状态是非常有用的调试手段。核心文件（core file）包含了一个运行进程的内存转储和状态。它主要是用来作为事后调试程序用的。它也可以被用来查看一个运行中的程序的状态。这两个使用场景使调试文件转储成为一个非常好的诊断手段。我们可以用这个方法来做事后诊断和分析线上的服务（production services）。

在这篇文章中，我们将用一个简单的hello world网站服务作为例子。在现实中，我们的程序很容易就会变得很复杂。分析核心转储给我们提供了一个机会去重构程序的状态并且查看只有在某些条件／环境下才能重现的案例。

作者注 : 这个调试流程只在Linux上可行。我不是很确定它是否在其它Unixs系统上工作。macOS对此还不支持。Windows现在也不支持。

在我们开始前，需要确保核心转储的ulimit设置在合适的范围。它的缺省值是0，意味着最大的核心文件大小是0。我通常在我的开发机器上将它设置成unlimited。使用以下命令：

接下来，你需要在你的机器上安装 delve 。

下面我们使用的 main.go 文件。它注册了一个简单的请求处理函数（handler）然后启动了HTTP服务。

让我们编译并生产二进制文件。

现在让我们假设，这个服务器出了些问题，但是我们并不是很确定问题的根源。你可能已经在程序里加了很多辅助信息，但还是无法从这些调试信息中找出线索。通常在这种情况下，当前进程的快照会非常有用。我们可以用这个快照深入查看程序的当前状态。

有几个方式来获取核心文件。你可能已经熟悉了奔溃转储（crash dumps）。它们是在一个程序奔溃的时候写入磁盘的核心转储。Go语言在缺省设置下不会生产奔溃转储。但是当你把 GOTRACEBACK 环境变量设置成“crash”，你就可以用 Ctrl+backslash 才触发奔溃转储。如下图所示：

上面的操作会使程序终止，将堆栈跟踪（stack trace）打印出来，并把核心转储文件写入磁盘。

另外个方法可以从一个运行的程序获得核心转储而不需要终止相应的进程。 gcore 可以生产核心文件而无需使运行中的程序退出。

根据上面的操作，我们获得了转储而没有终止对应的进程。下一步就是把核心文件加载进delve并开始分析。

差不多就这些。delve的常用操作都可以使用。你可以backtrace，list，查看变量等等。有些功能不可用因为我们使用的核心转储是一个快照而不是正在运行的进程。但是程序执行路径和状态全部可以访问。

如何看待go语言泛型的最新设计？

Go 由于不支持泛型而臭名昭著，但最近，泛型已接近成为现实。Go 团队实施了一个看起来比较稳定的设计草案，并且正以源到源翻译器原型的形式获得关注。本文讲述的是泛型的最新设计，以及如何自己尝试泛型。

例子

FIFO Stack

假设你要创建一个先进先出堆栈。没有泛型，你可能会这样实现：

type Stack []interface{}func (s Stack) Peek() interface{} {

return s[len(s)-1]

}

func (s *Stack) Pop() {

*s = (*s)[:

len(*s)-1]

}

func (s *Stack) Push(value interface{}) {

*s = 

append(*s, value)

}

但是，这里存在一个问题：每当你 Peek 项时，都必须使用类型断言将其从 interface{} 转换为你需要的类型。如果你的堆栈是 *MyObject 的堆栈，则意味着很多 s.Peek().(*MyObject)这样的代码。这不仅让人眼花缭乱，而且还可能引发错误。比如忘记 * 怎么办？或者如果您输入错误的类型怎么办？s.Push(MyObject{})` 可以顺利编译，而且你可能不会发现到自己的错误，直到它影响到你的整个服务为止。

通常，使用 interface{} 是相对危险的。使用更多受限制的类型总是更安全，因为可以在编译时而不是运行时发现问题。

泛型通过允许类型具有类型参数来解决此问题：

type Stack(type T) []Tfunc (s Stack(T)) Peek() T {

return s[len(s)-1]

}

func (s *Stack(T)) Pop() {

*s = (*s)[:

len(*s)-1]

}

func (s *Stack(T)) Push(value T) {

*s = 

append(*s, value)

}

这会向 Stack 添加一个类型参数，从而完全不需要 interface{}。现在，当你使用 Peek() 时，返回的值已经是原始类型，并且没有机会返回错误的值类型。这种方式更安全，更容易使用。（译注：就是看起来更丑陋，^-^）

此外，泛型代码通常更易于编译器优化，从而获得更好的性能（以二进制大小为代价）。如果我们对上面的非泛型代码和泛型代码进行基准测试，我们可以看到区别：

type MyObject struct {

X 

int

}

var sink MyObjectfunc BenchmarkGo1(b *testing.B) {

for i := 0; i  b.N; i++ {

var s Stack

s.Push(MyObject{})

s.Push(MyObject{})

s.Pop()

sink = s.Peek().(MyObject)

}

}

func BenchmarkGo2(b *testing.B) {

for i := 0; i  b.N; i++ {

var s Stack(MyObject)

s.Push(MyObject{})

s.Push(MyObject{})

s.Pop()

sink = s.Peek()

}

}

结果：

BenchmarkGo1BenchmarkGo1-16     12837528         87.0 ns/op       48 B/op        2 allocs/opBenchmarkGo2BenchmarkGo2-16     28406479         41.9 ns/op       24 B/op        2 allocs/op

在这种情况下，我们分配更少的内存，同时泛型的速度是非泛型的两倍。

合约（Contracts）

上面的堆栈示例适用于任何类型。但是，在许多情况下，你需要编写仅适用于具有某些特征的类型的代码。例如，你可能希望堆栈要求类型实现 String() 函数

c++一共有几阶

c++一共有八阶。经查询相关资料信息显示，黑马程序员C/C++学习路线图一共分为八个阶段的学习，从C/C++学习开发基础到C/C++学习项目实战。C/C++学习路线图第一阶段：C开发基础。C/C++学习路线图第二阶段：C高级编程。C/C++学习路线图第三阶段：C++核心编程与桌面应用开发。C/C++学习路线图第四阶段：Linux高并发服务器开发。C/C++学习路线图第五阶段：Windows/Linux跨平台企业项目实战项目1。C/C++学习路线图第六阶段：游戏服务器开发实项目2。C/C++学习路线图第七阶段：Go语言微服务项目实战项目3。C/C++学习路线图第八阶段：Shell脚本编程。

哪种物联网编程语言最热门

影响物联网IoT实施的最主要因素之一是人才缺口：现有市场供应无法跟上拥有物联网技术的工程师的需求。根据Canonical的研究，大约68%的公司正在努力为他们的物联网项目雇佣开发人员。但技能短缺的另一面是，职业前景对于具有物联网技术的专业人员来说是非常光明的。在这里，我们重点关注物联网中最常用的编程语言，即Java，C，C ++，Python，JavaScript和Go，然后分析专门从事这些语言的专业人员可以获得多少收入。我们还会考虑资历和地点等因素。

作为一个技术强国，美国在IT 薪资标准方面常常成为世界其他国家的基准。以下是根据Payscale的数据对美国顶级物联网IoT编程语言以及相应的开发者薪资数据的简要统计。

美国最热门的物联网编程语言的平均工资统计

平均而言，Java和C开发人员可以获得比物联网中使用其他语言的开发人员更高的薪水，尽管高级Go编程人员的薪水潜力最高、尽管初级和中级Go开发人员与其他同行相比低调，但Skilled Go的开发人员却是业内薪酬最高的开发人员之一。

从Java开始，我们来看看物联网IoT中最流行的编程语言的平均薪水。

Java：物联网技术最流行的编程语言

Java有多个应用领域，从后端编程到Android的移动应用。根据 Eclipse基金会执行的2017年物联网开发者调查，Java首次提供了用于物联网开发的编程语言列表，专门用于网关和云。

使用Java进行物联网开发的一个主要好处是便携性。Java没有任何硬件限制，这意味着您可以在计算机上编写和调试Java代码，并将其部署到几乎任何运行Java虚拟机的设备上。出于这个原因，许多公司选择聘请Java开发人员进行物联网项目。

根据Payscale的数据，美国Java开发者的平均薪水约为8.8万美元。瑞士的Java开发者的平均收入较高，每年约为96,000美元。与此同时，英国和以色列的Java开发人员的平均薪水则明显较低，分别为4万5千美元和33万美元。

Java开发人员的平均工资

但是，Java开发人员的平均工资可能不具代表性，因为根据相关技术人员的经验和资历，个人薪酬差别很大。例如，从Java初级到高级Java开发人员的薪酬跳跃在美国是6.6万美元到97万美元，在英国是从41,000美元到61,000美元。

Java在美国和英国的平均初级，中级和高级Java开发人员工资

我们对美国Java开发者工资的研究表明，不同州的平均薪水可能远高于全国平均水平。例如，加利福尼亚州的开发人员对美国开发人员的平均薪水最高(13.3万美元)。这一事实在很大程度上是该州IT总体高技能需求的一个功能。

C：嵌入式设备的关键编程语言

C编程语言接下来成为物联网IoT堆栈最喜欢的语言。然而，根据Eclipse基金会的说法，它被认为是受限设备开发的领先技术。

该编程语言提供对低级硬件API的直接访问。由于其与机器语言的相似性，C非常快速且灵活，使其成为处理能力有限的物联网系统的完美选择。

与Java类似，C开发人员的薪酬在世界各地差异很大。在美国，C开发人员每年可赚取约10万美元，而在瑞士，C开发人员的平均年薪为92,000美元。在我们分析的国家中，C专家的最低工资在英国。据Payscale称，英国年平均C开发人员薪水仅略高于4万美元。

C开发人员的平均工资。来源：Payscale

C级初级和高级开发人员的薪酬差异也很大。高级C开发人员的收入几乎是美国和英国入门级员工的两倍。

C在美国和英国的初级，中级和高级C开发人员的平均工资

C ++：Linux的第一语言

与其前身C一样，C ++已广泛用于嵌入式系统开发。但是，C ++的主要优势在于处理能力，在任务更加复杂时使其成为C的有用替代方案。

C ++最适合编写硬件特定的代码。它可与Linux，第一大物联网技术操作系统配合使用。但是，与Java相比，它具有有限的可移植性。

与C开发人员相比，C ++工程师的薪水更低。我们的研究发现，C ++开发人员在以色列和丹麦的预计收入约为82-86,000美元，而在美国，这个数字仅为71,000美元。

平均C ++开发人员工资统计。来源：Payscale

然而，尽管美国的C ++开发人员平均费用较低，但经验丰富的专家在职业生涯后期可以达到六位数。

美国和英国的初级，中级和高级C ++开发人员的平均工资。

Python：面向数据的物联网系统的解决方案

作为最受欢迎的网络编程语言之一，以及科学计算的前沿技术，Python在物联网开发中也获得了巨大的推动力。 对于数据密集型应用程序，Python是一个不错的选择，特别是在管理和组织复杂数据时。

此外，由于语言的清晰语法，用Python编写的源代码非常紧凑且非常易读。这对于计算能力和内存有限的小型设备来说效果特别好，尽管速度不如C / C ++快。

美国的平均Python开发人员薪水约在71k美元左右，而拥有类似技能的开发人员则分别在以色列和瑞士分别可以获得约68-67k的薪水。

Python开发人员的平均工资。来源：Payscale

与其他一样，初级和高级Python开发人员之间的薪酬差距很大。

美国和英国的平均初级，中级和高级Python开发人员薪水

仔细观察数据显示，尽管全国平均水平相对较低，但在美国，Python开发人员的薪水可能会非常高。由于开发商需求迫切，供应量有限，某些州的薪酬可能高达14万美元。传统上，加利福尼亚州是为技术专家提供最高工资的州之一。当地的Python开发人员平均赚取了大约13.5万美元。

JavaScript：事件驱动物联网应用的最佳解决方案

根据年度StackOverflow开发者调查显示，JavaScript是过去五年来最流行的编程语言之一，是现代Web开发中的核心技术。

在许多其他应用领域中，JavaScript是物联网编程语言中最常用的构建事件驱动系统。它可以管理连接设备的大型网络，并且在需要处理多个任务而无需等待其他任务完成时可以胜任。JavaScript对IoT的主要优势之一是非常节约资源。

随着IBM和三星等主要公司在他们的物联网项目中积极采用JavaScript(即Node.js)，对具有物联网(IoT)体验的JavaScript开发人员的需求仍然很高。这意味着能够全面的提高薪水。

瑞士的JavaScript开发者平均可以赚取约96k美元。令人惊讶的是，美国JavaScript专家的平均薪水要低得多，开发者可以得到6.9万美元。

全球JavaScript开发人员的平均工资。来源：Payscale

不同州之间的薪资数据差别很大：例如，研究发现，康涅狄格州，马萨诸塞州，加利福尼亚州和纽约州是JavaScript开发者收入最高的美国州，平均薪资介于10万美元至14万美元之间。

同样，根据经验，JavaScript开发人员的工资差别很大：美国的专业JavaScript开发人员平均可赚取10万美元，英国则可赚取6万美元左右。

美国和英国的平均初级，中级和高级JavaScript开发人员工资

Go：坚固的技术堆栈为复杂的物联网网络提供动力

Go是一款开源编程语言，由Google创建。尽管它不能像语言那样拥有同样广泛的用途，但我们之前专注于这一点，它是在您的物联网系统内建立通信层的强大技术。

Go语言关于物联网的主要优势是并发性和同时运行多个进程(数据输入和输出)的能力。这使得构建由多个传感器和设备组成的复杂IoT网络变得更加容易。

虽然它已被评为美国最高收入技术(根据最新的StackOverflow开发者调查)，但美国的Go平均薪水相当平稳 - 约为73,000美元，而英国则为43,000美元。

根据最近的调查显示，由于全球Go开发者工资数据不足，我们将重点关注美国和英国这些Go开发者人数最多的国家的薪水。

在美国和英国的平均Go开发者工资。来源：Payscale

高技能的Go开发者在美国可以获得高达14万美元的收入 - 几乎是初级Go程序员的三倍，是英国高级Go开发者的两倍。

在美国和英国的平均初级，中级和高级Go开发人员工资

结论

正如我们所看到的，物联网中最热门编程语言的开发人员的工资差别很大，并且取决于许多关键方面。为了理解这些信息，重要的是要看到更大的空间，并能够识别现有的市场趋势。

以上由物联传媒提供，如有侵权联系删除

【golang详解】go语言GMP(GPM)原理和调度

Goroutine调度是一个很复杂的机制，下面尝试用简单的语言描述一下Goroutine调度机制，想要对其有更深入的了解可以去研读一下源码。

首先介绍一下GMP什么意思：

G ----------- goroutine: 即Go协程，每个go关键字都会创建一个协程。

M ---------- thread内核级线程，所有的G都要放在M上才能运行。

P ----------- processor处理器，调度G到M上，其维护了一个队列，存储了所有需要它来调度的G。

Goroutine 调度器P和 OS 调度器是通过 M 结合起来的，每个 M 都代表了 1 个内核线程，OS 调度器负责把内核线程分配到 CPU 的核上执行

模型图：

避免频繁的创建、销毁线程，而是对线程的复用。

1）work stealing机制

当本线程无可运行的G时，尝试从其他线程绑定的P偷取G，而不是销毁线程。

2）hand off机制

当本线程M0因为G0进行系统调用阻塞时，线程释放绑定的P，把P转移给其他空闲的线程执行。进而某个空闲的M1获取P，继续执行P队列中剩下的G。而M0由于陷入系统调用而进被阻塞，M1接替M0的工作，只要P不空闲，就可以保证充分利用CPU。M1的来源有可能是M的缓存池，也可能是新建的。当G0系统调用结束后，根据M0是否能获取到P，将会将G0做不同的处理：

如果有空闲的P，则获取一个P，继续执行G0。

如果没有空闲的P，则将G0放入全局队列，等待被其他的P调度。然后M0将进入缓存池睡眠。

如下图

GOMAXPROCS设置P的数量，最多有GOMAXPROCS个线程分布在多个CPU上同时运行

在Go中一个goroutine最多占用CPU 10ms，防止其他goroutine被饿死。

具体可以去看另一篇文章

【Golang详解】go语言调度机制 抢占式调度

当创建一个新的G之后优先加入本地队列，如果本地队列满了，会将本地队列的G移动到全局队列里面，当M执行work stealing从其他P偷不到G时，它可以从全局G队列获取G。

协程经历过程

我们创建一个协程 go func()经历过程如下图：

说明：

这里有两个存储G的队列，一个是局部调度器P的本地队列、一个是全局G队列。新创建的G会先保存在P的本地队列中，如果P的本地队列已经满了就会保存在全局的队列中；处理器本地队列是一个使用数组构成的环形链表，它最多可以存储 256 个待执行任务。

G只能运行在M中，一个M必须持有一个P，M与P是1：1的关系。M会从P的本地队列弹出一个可执行状态的G来执行，如果P的本地队列为空，就会想其他的MP组合偷取一个可执行的G来执行；

一个M调度G执行的过程是一个循环机制；会一直从本地队列或全局队列中获取G

上面说到P的个数默认等于CPU核数，每个M必须持有一个P才可以执行G，一般情况下M的个数会略大于P的个数，这多出来的M将会在G产生系统调用时发挥作用。类似线程池，Go也提供一个M的池子，需要时从池子中获取，用完放回池子，不够用时就再创建一个。

work-stealing调度算法：当M执行完了当前P的本地队列队列里的所有G后，P也不会就这么在那躺尸啥都不干，它会先尝试从全局队列队列寻找G来执行，如果全局队列为空，它会随机挑选另外一个P，从它的队列里中拿走一半的G到自己的队列中执行。

如果一切正常，调度器会以上述的那种方式顺畅地运行，但这个世界没这么美好，总有意外发生，以下分析goroutine在两种例外情况下的行为。

Go runtime会在下面的goroutine被阻塞的情况下运行另外一个goroutine：

用户态阻塞/唤醒

当goroutine因为channel操作或者network I/O而阻塞时（实际上golang已经用netpoller实现了goroutine网络I/O阻塞不会导致M被阻塞，仅阻塞G，这里仅仅是举个栗子），对应的G会被放置到某个wait队列(如channel的waitq)，该G的状态由_Gruning变为_Gwaitting，而M会跳过该G尝试获取并执行下一个G，如果此时没有可运行的G供M运行，那么M将解绑P，并进入sleep状态；当阻塞的G被另一端的G2唤醒时（比如channel的可读/写通知），G被标记为，尝试加入G2所在P的runnext（runnext是线程下一个需要执行的 Goroutine。）， 然后再是P的本地队列和全局队列。

系统调用阻塞

当M执行某一个G时候如果发生了阻塞操作，M会阻塞，如果当前有一些G在执行，调度器会把这个线程M从P中摘除，然后再创建一个新的操作系统的线程(如果有空闲的线程可用就复用空闲线程)来服务于这个P。当M系统调用结束时候，这个G会尝试获取一个空闲的P执行，并放入到这个P的本地队列。如果获取不到P，那么这个线程M变成休眠状态， 加入到空闲线程中，然后这个G会被放入全局队列中。

队列轮转

可见每个P维护着一个包含G的队列，不考虑G进入系统调用或IO操作的情况下，P周期性的将G调度到M中执行，执行一小段时间，将上下文保存下来，然后将G放到队列尾部，然后从队列中重新取出一个G进行调度。

除了每个P维护的G队列以外，还有一个全局的队列，每个P会周期性地查看全局队列中是否有G待运行并将其调度到M中执行，全局队列中G的来源，主要有从系统调用中恢复的G。之所以P会周期性地查看全局队列，也是为了防止全局队列中的G被饿死。

除了每个P维护的G队列以外，还有一个全局的队列，每个P会周期性地查看全局队列中是否有G待运行并将其调度到M中执行，全局队列中G的来源，主要有从系统调用中恢复的G。之所以P会周期性地查看全局队列，也是为了防止全局队列中的G被饿死。

M0

M0是启动程序后的编号为0的主线程，这个M对应的实例会在全局变量rutime.m0中，不需要在heap上分配，M0负责执行初始化操作和启动第一个G，在之后M0就和其他的M一样了

G0

G0是每次启动一个M都会第一个创建的goroutine，G0仅用于负责调度G，G0不指向任何可执行的函数，每个M都会有一个自己的G0，在调度或系统调用时会使用G0的栈空间，全局变量的G0是M0的G0

一个G由于调度被中断，此后如何恢复？

中断的时候将寄存器里的栈信息，保存到自己的G对象里面。当再次轮到自己执行时，将自己保存的栈信息复制到寄存器里面，这样就接着上次之后运行了。

我这里只是根据自己的理解进行了简单的介绍，想要详细了解有关GMP的底层原理可以去看Go调度器 G-P-M 模型的设计者的文档或直接看源码

参考： ()

()

本文名称：2018go语言路线图的简单介绍
文章位置：http://scyingshan.cn/article/hhiepc.html